מוקי טננבאום על הבינה המלאכותית, המלחמה והכוח

שיחה זו עם מוקי טננבאום —סופר, מסאי ומנתח השפעת הבינה המלאכותית— הוקלטה ב-Solanas Convention Center, פונטה בייֵנה, מלדונדו. היא עוסקת בתפקיד הבינה המלאכותית בביטחון, ברפואה, במלחמה, בדיסאינפורמציה ובשליטה הסמכותנית, עם תשומת לב מיוחדת למונופול הטכנולוגי המגדיר את המאזן העולמי.

דעות המרואיין הן שלו; מדור השיחות אינו מעיד על הסכמה דוקטרינלית.

ג’ימי: אני רוצה לנהל איתך שיחה על בינה מלאכותית במבט מזוויות שונות. בתור התחלה: שווה לקרוא לזה “בינה”, או שזה אלגוריתם עם טכניקה מתוחכמת מאוד המאפשרת לייצר כלי שימושי? האם זו באמת טכנולוגיה שלומדת, שמבינה, שיש לה קצת מודעות?

מוקי: הבינה המלאכותית היא מכונה. מברג שמדבר יפה. לא הרבה יותר מזה. מתוחכמת מאוד, מעניינת מאוד, אבל יש לה מודעות כמו לעץ הזה: אפס. זה פשוט מודל שפה שלקח המון זמן לפתח.

ולעולם לא תהיה לה מודעות. לא משנה מה נעשה, לא משנה כמה נהפוך אותה למתוחכמת. כי כדי שתהיה מודעות צריך לסבול. הבסיס של כל מה שאנחנו בני האדם עושים הוא לברוח מן הסבל. אבל הסבל הוא שעומד מאחורי הציוויליזציה: אם לא היינו סובלים, לא היינו עולים. ואם לא היינו עולים, לא היינו עושים, בונים, מחריבים. כל הדברים שעשינו הם תוצאת הסבל. אחרת היינו זברות. היינו כלום.

ג’ימי: ובעלי החיים? אני חושב שיש להם קצת מודעות.

מוקי: אנחנו יכולים לחלוק. אני חושב שלבעלי החיים אין מודעות. אחרת הייתה להם ציוויליזציה, היה להם משהו. אין להם כלום. הם מחשבים ביולוגיים, בלי יותר: יש להם תוכנית, הם מריצים את התוכנית, לא יודעים לעשות דבר אחר.

הם לא סובלים. כואב להם, הם לא סובלים. כשרופא נותן לך חיסון, כואב לך אבל אתה לא סובל. כשמכים מזוכיסט, כואב לו אבל הוא לא סובל. כאב וסבל אינם אותו דבר. לבעלי החיים כואב —ברור שכואב להם— אבל הם לא סובלים. כי כדי לסבול אתה צריך מרחק. אתה צריך יכולת להביט בעצמך. את זה החיה לא יכולה לעשות. אנחנו לא טובים יותר ולא רעים יותר בכך שיש לנו מודעות: אנחנו שונים. זה פשוט משהו אחר.

עכשיו, באשר לקרוא לזה “בינה” או לא: אני חושב שאפשר לקרוא לזה בינה. אבל יש לה פגם: היא אף פעם לא אומרת “אני לא יודע”. זה מוזר. אתה שואל אותה משהו ותמיד יש לה תשובה.

ג’ימי: אני מכיר אנשים כאלה גם.

מוקי: (צחוק) כן, אבל במקרה הזה זה מרהיב. שנבין: כל עבודה שנעשית בישיבה, נעלמה. כבר לא קיימת. הבינה המלאכותית מחליפה אותה. זה עניין של זמן קצר.

ג’ימי: אני מביא לך שאלות מדויקות יותר. ראשונה: האם רופא עם בינה מלאכותית צריך להחליף רופא לבד, או שהבינה המלאכותית צריכה להחליף את הרופא ישירות?

מוקי: הן צריכות להחליף את הרופאים, וכמה שיותר מהר יותר טוב. הדברים נשפטים לפי תוצאותיהם, ולא לפי שום דבר מלבד תוצאותיהם. הבינה המלאכותית בדיוק עברה מבחנים שהרופאים לא עוברים. איך זה לא יהיה?

ברור שזו דעתי —אני לא אומר “ככה הדברים”—. אבל אני חושב שהיא צריכה להחליף את הרופאים, המהנדסים, עורכי הדין, וכל מקצוע שבסיסו הוא הידע.

ג’ימי: נעבור ל-7 באוקטובר. מתקפת חמאס חשפה את מגבלות מערכות הביטחון המבוססות על בינה מלאכותית, שניתן להטעותן, לחסום אותן או להחריבן. התוקפים ניצלו נקודות עיוורות ושיבשו אותות. כיצד אפשר לשפר מערכות אלה כדי שיהיו פחות צפויות ועמידות יותר, עם פיקוח אנושי אפקטיבי?

מוקי: הבינה המלאכותית השתתפה מעט מאוד בחלק ההגנתי. אבל הודות לבינה המלאכותית, ישראל חיסלה את חזבאללה בשלושה שבועות.

ראית כשהביפרים התפוצצו? לזה לא היה שום קשר לבינה מלאכותית —זו הייתה עבודה מבריקה של החבר’ה מהמודיעין—. אבל כשהביפרים התפוצצו, למעלה עפו רחפנים ישראליים. הרחפנים האלה קלטו פיצוצים במקומות שונים בזמנים שונים. את כל המידע הזה נתנו לבינה המלאכותית, ועכשיו היה קל מאוד למצוא את האנשים: כי זה היה עם זה, זה היה עם ההוא, וכן הלאה. הבינה המלאכותית תוך שעות הכינה תוכנית מתקפה, ותוך שלושה שבועות נוספים, חזבאללה ככוח חמוש מסוכן נגד ישראל נשאר עם 80% מטיליו מושמדים. היו להם אלף טילים מכוונים לישראל.

באשר לגבול ה-7 באוקטובר: הייתי אומר לך שהבעיה הייתה ההפך. זה לא היה מספיק אוטומטי. היו אנשים, היו בנות שהביטו במסכים. נעשו טעויות. יש שיחשבו שהיה מרגל כי המידע שהיה לתוקפים היה טוב מדי. אחרים יחשבו שנרדמנו על ההגה, כמו שקרה במלחמת יום הכיפורים. קורים דברים בלתי צפויים.

ושם הבינה המלאכותית עלולה לא להביא בחשבון מקרים אלה, כי היא מתבססת על דפוסים עם הרבה מידע. הדברים החדשים מוציאים אותה מאיזון. אם כי, במציאות, הדברים החדשים הם תמיד דברים ישנים מנוסחים מחדש. זו האנלוגיה: אנחנו רואים שמשהו עובד ככה, מנסים להפעיל אותו במקום אחר. זו הבינה. הבינה המלאכותית לומדת בדיוק ככה.

ג’ימי: אבל היא גם פריצה (hackable).

מוקי: לא. הבינה המלאכותית ברגע זה היא קופסה שחורה. אף אחד לא יודע איך היא עובדת. נכנסים חזירים מצד אחד ויוצאות נקניקיות מהצד השני: nobody knows. יש פרויקט שלם —קוראים לו אינטרפרטביליות— כדי לנסות לגלות איך היא עושה את זה, ובינתיים בלא הצלחה.

אם אתה לא יודע איך משהו עובד, אתה לא יכול לפרוץ אותו. עוד לא ראיתי בינה מלאכותית ברמה שנפרצה עם הוכחה. המערכת עובדת עם משהו שנקרא משקלים, ה-weights. אתה לא יכול לדעת מה יקרה. וחוץ מזה אתה מוסיף לה הטיות —כי אתה לא רוצה שתלמד לעשות פצצה, אתה לא רוצה שתהיה אנטישמית או גזענית—. כיוון שאנחנו מכניסים את האצבעות, שהן די עבות, לתוך המערכת, אתה הופך אותה לצפויה יותר.

ג’ימי: ומה התפקיד האנושי אם כן?

מוקי: אני אומר שאין שום תפקיד לאדם. זו דעתי. אנחנו עומדים לעבור מגיבורים לעדים. הבינה המלאכותית היא שתעקוף אותנו.

אני נותן לך את הדוגמה שאני תמיד משתמש בה. היום טוקיו רוצה לבנות בניין חדש: העירייה קוראת לעשרה משרדי האדריכלות הגדולים בעולם, מוגשים עשרה פרויקטים, שתי ועדות בוחנות, בוחרות הצעה סופית. ככה זה עובד היום.

עכשיו, עם בינה מלאכותית, כבר אין עשרה פרויקטים: יש עשרת אלפים. וקורים שני דברים. ראשית, שעם עשרת אלפים הצעות, אנחנו מתמוססים. אנחנו לא ניעלם כי יבוא טרמינטור. אנחנו ניעלם מהתמוססות. כל פעם תהיה לנו פחות מעורבות במה שקורה.

אתה יודע ששמו שתי בינות מלאכותיות לתקשר ביניהן, וכדי לעשות את זה מהר יותר הן יצרו שפה משלהן, ואף אחד לא הבין מה הן מדברות? זה מה שיקרה. הן ידברו ביניהן. כמו כשהיינו קטנים וההורים דיברו עם הדודים על לאן ייקחו אותך, ואתה היית שם ואומר: “לאן אנחנו הולכים?” זה מה שיקרה לנו.

ג’ימי: וזה טוב?

מוקי: זה טוב. קצת מפחיד, כן. אבל פחדו כשיצאה המכונית: “זה לא יצליח כי אנשים רוצים להישאר עם הסוס”. כל פעם שמופיעה טכנולוגיה זה קורה.

רק שלטכנולוגיה הזו יש דבר מיוחד מאוד: היא היחידה שבאה עם הלחם מתחת לזרוע. היא הטכנולוגיה היחידה שיכולה לתקן את עצמה. הבעיות שהיא מביאה, היא עצמה פותרת. דוגמה טובה היא האנרגיה: נצטרך המון אנרגיה לבינה מלאכותית. מי יפתור את הבעיה הזו? הבינה המלאכותית עצמה תמצא צורות יעילות שהיום איננו מדמיינים.

ג’ימי: אבל לא נישאר בלי נתונים לאמן אותה?

מוקי: כבר נשארנו בלי נתונים. היום לבינות המלאכותיות כבר אין נתונים חדשים לקבל. הדרך היחידה היא להשתמש בנתונים סינתטיים: הבינה המלאכותית עצמה מייצרת אותם ומחזירה אותם לעצמה כאימון. אנחנו אוכלים את הזנב.

לבינה המלאכותית כבר יש גישה ל-100% מן הידע האנושי. ואם נולד איינשטיין נוסף, איזה תפקיד יש לו? לא יודע. איזו חשיבות יש לנו באיינשטיין נוסף? לאיינשטיין הייתה חשיבות כי הוא נתן לנו חלון לעולם מסוים. אבל אם הבינה המלאכותית כבר עשתה את העבודה הזו, ומתחרה בקנה מידה הזה, תפקיד האיינשטיין האנושי מתמוסס.

אנשים יגידו: “אבל היצירתיות האנושית…”. אנחנו בעלי חיים. בעלי חיים יהירים. אנחנו אומרים: “אנחנו עשינו שלושה דברים”. הכנסנו את כל המידע לבינה המלאכותית ופתאום היא עושה הכל. בשנייה המכשיר למד הכל מהר מאוד.

ג’ימי: נעבור לבינה מלאכותית ומלחמה. הבינה המלאכותית מחוללת מהפכה בקונפליקטים בכך שהיא מאפשרת החלטות בזמן אמת ומטרות אוטונומיות. האם צריכה להיות לה סמכות לקבל החלטות קטלניות? כיצד להבטיח מתן דין וחשבון?

מוקי: אין דרך לעצור את ההתקדמות. מישהו יעשה את זה, ואתה תצטרך לעשות את זה גם, כי אחרת, הפיקחים יטרפו אותך.

איפה הכסף הגדול של הבינה המלאכותית? הוא לא במודלי השפה שעוזרים לך לכתוב מייל —אם אתה משלם 20 דולר בחודש, זה לא משם בא הכסף הגדול, כמו שהיינו אומרים בארגנטינה—. הוא בצבאי. יש חברה היום מאוד ידועה, פלנטיר, שמוכרת לממשל האמריקאי. אחר כך יש אנדוריל, חברה מפורסמת אחרת בנושאים צבאיים. שם יעבור הכסף הגדול. וזה כבר קורה.

ג’ימי: וההחלטה האחרונה להרוג, מי מקבל אותה, אדם או הבינה המלאכותית?

מוקי: ברגע שמגיע הרגע, הבינה המלאכותית הורגת לבד. בגלל המהירות. תאר לעצמך להרוג טילים עם אדם בלולאה: אי אפשר.

המלחמות יתחילו להיעשות עם רובוטים. זו הבשורה הטובה, במובן מסוים: בסוף לא יהיו אנשים מהצד השני. הבינה המלאכותית תייצר את הרובוטים שלה, והרובוטים האלה יהרגו זה את זה. אנחנו שולחים אותם למקום כלשהו בארץ שייהרגו לבד, ואנחנו חיים בשקט. אמרתי לך: אתה תהיה עד.

ג’ימי: נדבר על סין. אתה אומר שהיא גמורה.

מוקי: לסין אין גישה לבינה מלאכותית מתוחכמת כי אין לה גישה לשבבים. ולעולם לא תהיה לה גישה לשבבים. לא כי האמריקאים לא רוצים, אלא כי הסינים לא יכולים.

אני מסביר לך איך זה עובד. הבינה המלאכותית זקוקה לשבבים מיוחדים שנקראים GPU. את ה-GPU יוצרת בעיקר NVIDIA, שהפכה לחברה הגדולה בעולם, הולך ובא עם אפל. השבבים של NVIDIA מקדימים בין שנתיים לארבע שנים מול כל מתחרה, והיא לא נשארת לחכות.

כדי לייצר את השבבים האלה, NVIDIA מתכננת אותם אבל שולחת אותם לייצור לחברה אחת בלבד בעולם: TSMC, בטייוואן. TSMC מייצרת 92% משבבי הבינה המלאכותית. היא מקדימה בחמש שנים מול כל מתחרה.

כדי ש-TSMC תוכל לייצר את השבבים, היא זקוקה למכונות. ואת המכונות האלה מייצרת חברה אחת בלבד, בהולנד: ASML. ASML מקדימה בין 20 ל-25 שנה מול כל מתחרה. אף אחד לא יגיע.

המכונות של ASML עולות בין 300 ל-500 מיליון דולר כל אחת. הן צריכות שירות כל שבועיים. אם עובר חודש בלא שירות, הן גרוטאות: מקום להניח עליו אגרטלים. הן מיליון מראות מסונכרנות בשלמות, עובדות ברמת האטום, עם אור.

הטריאופול הזה —ASML בהולנד, TSMC בטייוואן, NVIDIA בארצות הברית— שולט בבינה המלאכותית של העולם. הדבר הטוב ביותר שביידן עשה בנשיאותו היה ללחוץ ולקחת מסין את האפשרות לייצר שבבים מתקדמים. השבבים נמדדים בננומטרים. פחות משבעה ננומטרים לא מועילים לבינה מלאכותית מתקדמת. לסין הייתה גישה עד ארבעה עשר, עכשיו עם הסיבוב האחרון נראה שרק מעשרים. המכונות שיש להן יחדלו לקבל שירות. בחודש הן לא מועילות לכלום.

ג’ימי: והסינים מה עושים?

מוקי: הם נואשים. יש להם שתי דרכים. אחת: לשים הרבה כסף כדי להשיג את הטכנולוגיה בכוחות עצמם. זה לא עובד מכמה סיבות שלא אכנס אליהן עכשיו כי זה צדדי. הדרך השנייה: לספר סיפורים. “השגנו”, “עשינו”, “אנחנו באים”. DeepSeek, למשל. אני אגיד את זה בפירוש: DeepSeek זה מרקטינג כדי להרוויח זמן. ביום אחד אמרו שהצליחו להוציא משבב 800 פעמים יותר מהירות מהרגיל. זה לא קיים טכנית. זו דיסאינפורמציה.

בסין יש צריכה פנימית של הנרטיב הזה, כי אם האנשים יבינו שהם נשארים מאחור —שהכלכלה תמשיך להיות רעה— הם יתקוממו. יש הסכם שבשתיקה בין המפלגה הקומוניסטית לעם: “אני נותן לכם שגשוג, אתם לא מתערבים”. השגשוג הזה נגמר. תאר לעצמך מה עלול לקרות.

ג’ימי: נעבור לדיסאינפורמציה. הבינה המלאכותית יכולה לייצר בקנה מידה גדול, ומוחקת את הגבול בין אמת למניפולציה. כיצד החברות יכולות להסתגל?

מוקי: זה עניין שלנו. אם החלטת לדעת יותר ואתה קורא את העיתון הזה או האחר, במוקדם או במאוחר בסוף ימכרו לך לוקש. כי זה הביזנס שלהם: למכור לוקש.

האנשים, ראשית, לא רוצים לדעת את האמת. האנשים רוצים לא לסבול. ואם כדי לא לסבול הם צריכים להאמין באלוהים, בסנדקית, בכך שנהיה בני אלמוות, הם יעשו את זה. בצדק, שים לב. אין לי מבט סטואי של “תחזיק מעמד וסבול”. לא: ממילא אתה תברח מן הסבל.

לי לא מועיל להאמין באלוהים או בסנדקית. אני רוצה לדעת. אני ניזון מן המידע שיש בחוץ, מנסה להצליב, ולפעמים כותב מאמרים על הנושא. אני חותם על כל המאמרים שלי: הדברים כפי שהם.

אבל האנשים לא רוצים לדעת. ויש להם צדק. איזה יתרון יש להם לדעת את האמת אם האמת מכאיבה להם?

מצד שני, יש לנו את הטיית האישוש. כהנמן תיאר אותה, חתן פרס נובל לכלכלה. אני תמיד אשים לב למה שמאשש את הרעיון שלי —שוב, כדי לא לסבול—. אחרת, היית צריך לחיות עם ההתנגשות של שני רעיונות בפנים. בשביל מה?

ג’ימי: והחינוך?

מוקי: לא יהיה חינוך. זה נגמר מכמה סיבות. ראשית: כבר כל הידע זמין. תמיד היה בטלפון, עכשיו זה קל יותר כי אתה יכול לשאול אותו ישירות. בתי הספר היום הם בייביסיטרים מפוארים. שמים שם את הילד כדי שההורים יוכלו ללכת לעבוד. דבר שגם הם לא יצטרכו לעשות עוד הרבה זמן, כי הבינה המלאכותית תחליף את העבודה.

המגפה הייתה חזרה כללית של כל זה. הילדים בבית, ההורים עובדים מהבית. והשגנו חיסון בשנה, פתרנו את העניין, חזרנו לאן שהיינו.

תראה: האנושות חיסלה את הרעב. יש חופן אזורים שבהם יש רעב, אבל לשאר העולם לא חסר מזון. למעשה יש השמנה בכל מקום, לא רק במדינות עשירות. קראתי שהילדים האיטלקים הם השמנים ביותר באירופה. כל בעל חיים מוכן להתמודד עם המחסור, לא עם השפע.

במקום להביט בהישגים אנחנו אומרים: “אנחנו מחריבים את כדור הארץ, הורגים את בעלי החיים, בא הצונאמי, בא האסטרואיד”. הסתובב, עצור לרגע, הבט אחורה. משהו עשינו טוב.

ג’ימי: ומה אתה אומר למי שנבהלים מן המבט שלך?

מוקי: אם אני צודק, האנשים לא צריכים לשמוע את התיאוריה שלי —כי לשמוע את התיאוריה שלי מזיק להם—. כשאני אומר “אנחנו בורחים מן הסבל”, מה שאני אומר זה שכולנו פחדנים. מי רוצה להיות פחדן? אתה יודע שזו הקללה היחידה הקיימת בכל השפות: פחדן.

אז האנשים לא רוצים לדעת שהם בורחים מן הסבל. הם רוצים להאמין שהם הולכים אל הנכדים, אל העתיד. ויש להם צדק לא לרצות לשמוע אותי. אם אני מקבל שהדבר היחיד שאני עושה הוא לברוח מן הסבל, אני מרגיש פחדן. ואני ארגיש רע.

אני במצב גאוני: אם מקשיבים לי, אני צודק. אם לא מקשיבים לי, גם אני צודק.

הערת עריכה

שני ייחוסים של המרואיין מובאים כפי שנאמרו: הטיית האישוש מיוחסת בדרך כלל לפיטר וֵייסון, לא לדניאל כהנמן; ותומס הובס (1588-1679) הוא דמות מן המאה ה-17, לא מן ה-16.

הוקלטה ב-Solanas Convention Center, פונטה בייֵנה, מלדונדו, אורוגוואי.

נערכה לקריאה מתוך התמלול המקורי של הסרטון.