Mookie Tenembaum sur l'intelligence artificielle, la guerre et le pouvoir

Cette conversation avec Mookie Tenembaum —écrivain, essayiste et analyste de l’impact de l’intelligence artificielle— a été enregistrée au Solanas Convention Center, Punta Ballena, Maldonado. Elle aborde le rôle de l’IA dans la sécurité, la médecine, la guerre, la désinformation et le contrôle autoritaire, avec une attention particulière au monopole technologique qui définit l’équilibre mondial.

Les opinions de l’invité sont les siennes ; la section Conversations n’implique pas d’accord doctrinal.

Jimmy : Je veux avoir une conversation avec toi sur l’intelligence artificielle vue sous différents angles. Pour commencer : vaut-il la peine de l’appeler « intelligence », ou est-ce un algorithme doté d’une technique très sophistiquée qui permet de générer un outil utile ? Est-ce réellement une technologie qui apprend, qui comprend, qui a un petit peu de conscience ?

Mookie : L’intelligence artificielle est une machine. Un tournevis qui parle bien. Pas beaucoup plus que ça. Très sophistiquée, très intéressante, mais elle a autant de conscience que cet arbre : aucune. C’est simplement un modèle de langage qui a demandé énormément de temps à développer.

Et elle n’aura jamais de conscience. Peu importe ce que nous faisons, peu importe à quel point nous la rendons sophistiquée. Parce que pour avoir une conscience, il faut souffrir. La base de tout ce que nous, les humains, faisons, c’est de fuir la souffrance. Mais c’est la souffrance qui est derrière la civilisation : si nous n’avions pas souffert, nous ne nous serions pas élevés. Et si nous ne nous étions pas élevés, nous n’aurions pas fait, monté, détruit. Toutes les choses que nous avons faites sont le résultat de la souffrance. Sinon, nous serions des zèbres. Nous ne serions rien.

Jimmy : Et les animaux ? Je crois qu’ils ont un peu de conscience.

Mookie : Nous pouvons être en désaccord. Je crois que les animaux n’ont pas de conscience. Sinon, ils auraient une civilisation, ils auraient quelque chose. Ils n’ont rien. Ce sont des ordinateurs biologiques, sans plus : ils ont un programme, ils exécutent ce programme, ils ne savent rien faire d’autre.

Ils ne souffrent pas. Ils ont mal, ils ne souffrent pas. Quand un médecin te fait un vaccin, ça fait mal mais tu ne souffres pas. Quand on frappe un masochiste, ça lui fait mal mais il ne souffre pas. Douleur et souffrance ne sont pas la même chose. Les animaux ont mal —bien sûr qu’ils ont mal— mais ils ne souffrent pas. Parce que pour souffrir, tu as besoin de distance. Tu as besoin de pouvoir te regarder. Ça, l’animal ne peut pas le faire. Nous ne sommes ni meilleurs ni pires d’avoir une conscience : nous sommes différents. C’est carrément autre chose.

Maintenant, quant à l’appeler « intelligence » ou non : je crois qu’on peut l’appeler intelligence. Mais elle a un défaut : elle ne dit jamais « je ne sais pas ». C’est étrange. Tu lui demandes quelque chose et elle a toujours une réponse.

Jimmy : Je connais des gens comme ça aussi.

Mookie : (rires) Oui, mais dans ce cas c’est spectaculaire. Pour qu’on se comprenne : tout travail qui se fait assis a disparu. Il n’existe plus. L’intelligence artificielle est en train de le remplacer. C’est une question de peu de temps.

Jimmy : Je t’apporte des questions plus précises. Première : un médecin avec une intelligence artificielle devrait-il remplacer un médecin seul, ou l’intelligence artificielle devrait-elle remplacer le médecin directement ?

Mookie : Ils doivent remplacer les médecins, et le plus tôt sera le mieux. Les choses se jugent à leurs résultats, et à rien d’autre qu’à leurs résultats. L’intelligence artificielle vient de réussir des examens que les médecins ne réussissent pas. Comment n’en serait-il pas ainsi ?

Il est clair que c’est mon opinion —je ne dis pas « les choses sont ainsi »—. Mais je crois qu’elle doit remplacer les médecins, les ingénieurs, les avocats, et toute profession dont la base est la connaissance.

Jimmy : Passons au 7 octobre. L’attaque du Hamas a exposé les limites des systèmes de sécurité fondés sur l’IA, qui peuvent être trompés, bloqués ou détruits. Les attaquants ont exploité des angles morts et brouillé des signaux. Comment ces systèmes peuvent-ils être améliorés pour être moins prévisibles et plus résilients, avec une supervision humaine effective ?

Mookie : L’intelligence artificielle a très peu participé à la partie défensive. Mais grâce à l’IA, Israël a liquidé le Hezbollah en trois semaines.

Tu as vu quand les pagers ont explosé ? Ça n’a rien eu à voir avec l’IA —c’était le travail brillant des gars du renseignement—. Mais quand les pagers ont explosé, là-haut volaient des drones israéliens. Ces drones ont capté des explosions à différents endroits à différents moments. Cette information, ils l’ont toute donnée à l’IA, et il était alors très facile de trouver les gens : parce que celui-ci était avec celui-là, celui-ci était avec cet autre, et ainsi de suite. L’IA a en quelques heures préparé un plan d’attaque, et trois semaines plus tard, le Hezbollah, comme force armée dangereuse contre Israël, s’est retrouvé avec 80 % de ses missiles détruits. Ils avaient mille missiles pointés sur Israël.

Quant à la frontière du 7 octobre : je te dirais que le problème fut l’inverse. Ce ne fut pas suffisamment automatisé. Il y avait des personnes, il y avait des filles qui regardaient des écrans. Des erreurs ont été commises. Certains pourraient penser qu’il y avait un espion, parce que l’information que les attaquants avaient était trop bonne. D’autres pourraient penser que nous nous sommes endormis au volant, comme lors de la guerre du Kippour. Il arrive des choses imprévisibles.

Et là, l’IA peut ne pas prendre en compte ces cas, parce qu’elle se fonde sur des schémas avec beaucoup d’information. Les choses nouvelles la sortent de son axe. Quoique, en réalité, les choses nouvelles soient toujours des choses anciennes reformulées. C’est ça, l’analogie : nous voyons que quelque chose fonctionne ainsi, nous essayons de le mettre en œuvre ailleurs. C’est ça, l’intelligence. L’IA apprend exactement ainsi.

Jimmy : Mais elle est aussi piratable.

Mookie : Non. L’intelligence artificielle en ce moment est une boîte noire. Personne ne sait comment elle fonctionne. Il entre des porcs d’un côté et il sort des saucisses de l’autre : nobody knows. Il y a tout un projet —ça s’appelle l’interprétabilité— pour essayer de découvrir comment elle fait, et pour l’instant sans succès.

Si tu ne sais pas comment quelque chose fonctionne, tu ne peux pas le pirater. Je n’ai pas encore vu une IA de niveau qui ait été piratée avec preuve. Le système fonctionne avec quelque chose qu’on appelle les poids, les weights. Tu ne peux pas savoir ce qui va se passer. Et en plus tu lui ajoutes des biais —parce que tu ne veux pas qu’elle enseigne à faire une bombe, tu ne veux pas qu’elle soit antisémite ou raciste—. Comme nous mettons les doigts, qui sont assez gros, dans le système, tu le rends plus prévisible.

Jimmy : Et quel est le rôle humain, alors ?

Mookie : Je dis qu’il n’y a aucun rôle pour l’humain. C’est mon opinion. Nous allons passer de protagonistes à témoins. C’est l’intelligence artificielle qui va nous dépasser.

Je te donne l’exemple que j’utilise toujours. Aujourd’hui, Tokyo veut faire un nouvel immeuble : la municipalité appelle les dix plus grands cabinets d’architecture du monde, dix projets sont présentés, deux commissions examinent, elles choisissent une proposition finaliste. C’est ainsi que ça fonctionne aujourd’hui.

Maintenant, avec l’IA, il n’y a plus dix projets : il y en a dix mille. Et deux choses se produisent. D’abord, qu’avec dix mille propositions, nous nous diluons. Nous n’allons pas disparaître parce que Terminator arrive. Nous allons disparaître par dilution. Nous aurons de moins en moins d’emprise sur ce qui se passe.

Tu sais qu’on a mis deux intelligences artificielles à communiquer entre elles, et pour le faire plus vite elles ont créé une langue propre, et personne ne comprenait ce qu’elles disaient ? C’est ça qui va se passer. Elles vont parler entre elles. Comme quand nous étions petits et que les parents parlaient avec les oncles de l’endroit où ils allaient t’emmener, et toi tu étais là à dire : « On va où ? » C’est ça qui va nous arriver.

Jimmy : Et c’est bien ?

Mookie : C’est bien. Ça fait un peu peur, oui. Mais on a eu peur quand l’automobile est apparue : « Ça n’aura pas de succès parce que les gens veulent rester avec le cheval. » Chaque fois qu’une technologie apparaît, c’est ce qui se passe.

Seulement, cette technologie a une chose très spéciale : c’est la seule qui vient avec le pain sous le bras. C’est la seule technologie qui peut se corriger elle-même. Les problèmes qu’elle apporte, elle les résout elle-même. Un bon exemple est l’énergie : nous allons avoir besoin d’énormément d’énergie pour l’IA. Qui va résoudre ce problème ? L’IA elle-même va trouver des formes d’efficacité qu’aujourd’hui nous n’imaginons pas.

Jimmy : Mais ne nous retrouvons-nous pas sans données pour l’entraîner ?

Mookie : Nous sommes déjà à court de données. Aujourd’hui, les intelligences artificielles n’ont plus de données nouvelles à recevoir. La seule manière, c’est d’utiliser des données synthétiques : l’IA elle-même les génère et les lui redonne comme entraînement. Nous nous mangeons la queue.

L’IA a déjà accès à 100 % de la connaissance humaine. Et s’il naît un autre Einstein, quel rôle a-t-il ? Je ne sais pas. Quelle importance a pour nous un autre Einstein ? Einstein a eu de l’importance parce qu’il nous a donné une fenêtre sur un monde déterminé. Mais si l’IA a déjà fait ce travail, et qu’elle rivalise à cette échelle, le rôle de l’Einstein humain se dilue.

Les gens vont dire : « Mais la créativité humaine… ». Nous sommes des animaux. Des animaux arrogants. Nous disons : « Nous avons fait trois choses. » Nous avons mis toute l’information dans l’IA et tout à coup elle fait tout. En un instant, l’appareil a tout appris très vite.

Jimmy : Passons à l’IA et la guerre. L’intelligence artificielle révolutionne les conflits en permettant des décisions en temps réel et des cibles autonomes. Devrait-elle avoir l’autorité de prendre des décisions létales ? Comment garantir la reddition de comptes ?

Mookie : Il n’y a pas moyen d’arrêter le progrès. Quelqu’un va le faire, et toi tu vas devoir le faire aussi, parce que sinon, les malins vont te dévorer.

Où est le gros argent de l’IA ? Il n’est pas dans les modèles de langage qui t’aident à écrire un mail —si tu paies 20 dollars par mois, ce n’est pas de là que vient le gros pognon, comme on dirait en Argentine—. Il est dans le militaire. Il y a une entreprise aujourd’hui très connue, Palantir, qui vend au gouvernement américain. Ensuite il y a Anduril, une autre entreprise célèbre dans les questions militaires. C’est par là que va passer le gros argent. Et c’est déjà en train d’arriver.

Jimmy : Et la dernière décision de tuer, c’est une personne ou l’IA qui la prend ?

Mookie : Une fois que le moment arrive, l’IA tue seule. À cause de la vitesse. Imagine, tuer des missiles avec un humain dans la boucle : ce n’est pas possible.

Les guerres vont commencer à se faire avec des robots. C’est la bonne nouvelle, en un certain sens : à la fin, il n’y aura pas de personnes de l’autre côté. L’IA va fabriquer ses propres robots, et ces robots vont s’entretuer. Nous les envoyons à un endroit de la terre pour qu’ils s’entretuent tout seuls, et nous, nous vivons tranquilles. Je te l’ai dit : tu vas être témoin.

Jimmy : Parlons de la Chine. Tu dis qu’elle est finie.

Mookie : La Chine n’a pas accès à une intelligence artificielle sophistiquée parce qu’elle n’a pas accès aux puces. Et elle n’aura jamais accès aux puces. Non parce que les Américains ne le veulent pas, mais parce que les Chinois ne le peuvent pas.

Je t’explique comment ça fonctionne. L’IA a besoin de puces spéciales appelées GPU. Les GPU sont créés principalement par NVIDIA, qui est devenue la plus grande entreprise du monde, ça va et vient avec Apple. Les puces de NVIDIA ont entre deux et quatre ans d’avance sur tout concurrent, et elle ne reste pas à attendre.

Pour fabriquer ces puces, NVIDIA les conçoit mais les fait fabriquer par une seule entreprise au monde : TSMC, à Taïwan. TSMC fabrique 92 % des puces d’IA. Elle a cinq ans d’avance sur tout concurrent.

Pour que TSMC puisse fabriquer les puces, elle a besoin de machines. Et ces machines sont fabriquées par une seule entreprise, aux Pays-Bas : ASML. ASML a entre 20 et 25 ans d’avance sur tout concurrent. Personne ne va y arriver.

Les machines d’ASML coûtent entre 300 et 500 millions de dollars chacune. Elles ont besoin d’une maintenance toutes les deux semaines. S’il passe un mois sans maintenance, ce sont des ferrailles : un endroit pour poser des vases dessus. Ce sont un million de miroirs parfaitement synchronisés, travaillant au niveau de l’atome, avec de la lumière.

Ce triopole —ASML aux Pays-Bas, TSMC à Taïwan, NVIDIA aux États-Unis— contrôle l’IA du monde. La meilleure chose que Biden a faite durant sa présidence, ce fut de serrer la vis et de retirer à la Chine la possibilité de fabriquer des puces avancées. Les puces se mesurent en nanomètres. Moins de sept nanomètres ne servent pas pour l’IA avancée. La Chine avait accès jusqu’à quatorze, maintenant avec le dernier tour de vis il semble que ce soit seulement à partir de vingt. Les machines qu’ils ont vont cesser de recevoir la maintenance. En un mois, elles ne servent plus à rien.

Jimmy : Et les Chinois, que font-ils ?

Mookie : Ils sont désespérés. Ils ont deux chemins. Un : mettre beaucoup d’argent pour atteindre la technologie par leurs propres moyens. Ça ne fonctionne pas pour plusieurs raisons dans lesquelles je ne vais pas entrer maintenant parce que c’est secondaire. L’autre chemin : raconter des histoires. « Nous avons réussi », « nous avons fait », « nous arrivons ». DeepSeek, par exemple. Je vais le dire en toutes lettres : DeepSeek, c’est du marketing pour gagner du temps. L’autre jour ils ont dit qu’ils avaient réussi à tirer d’une puce 800 fois plus de vitesse que la normale. Ça n’existe pas techniquement. C’est de la désinformation.

En Chine, il y a une consommation interne de ce récit, parce que si les gens se rendent compte qu’ils restent à la traîne —que l’économie va continuer d’aller mal— ils vont se soulever. Il y a un accord tacite entre le Parti communiste et le peuple : « Je vous donne la prospérité, vous ne vous mêlez de rien. » Cette prospérité est en train de se terminer. Imagine ce qui peut arriver.

Jimmy : Passons à la désinformation. L’IA peut en générer à grande échelle, effaçant la frontière entre vérité et manipulation. Comment les sociétés peuvent-elles s’adapter ?

Mookie : Ça, c’est notre affaire. Si tu as décidé d’en savoir plus et que tu lis ce journal ou l’autre, tôt ou tard on finira par te rouler. Parce que c’est ça leur business : rouler les gens.

Les gens, d’abord, ne veulent pas savoir la vérité. Les gens veulent ne pas souffrir. Et si pour ne pas souffrir ils doivent croire en un dieu, en une bonne fée, au fait que nous serons immortels, ils le feront. À juste titre, attention. Je n’ai pas un regard stoïque du genre « endure et souffre ». Non : de toute façon tu vas fuir la souffrance.

Moi, ça ne me sert à rien de croire en un Dieu ou en une bonne fée. Moi je veux savoir. Je me nourris de l’information qu’il y a dehors, j’essaie de recouper, et parfois j’écris des articles sur le sujet. Je signe tous mes articles : les choses telles qu’elles sont.

Mais les gens ne veulent pas savoir. Et ils ont raison. Quel avantage ont-ils à savoir la vérité si la vérité leur fait mal ?

D’autre part, nous avons le biais de confirmation. Kahneman l’a décrit, prix Nobel d’économie. Moi je vais toujours prêter attention à ce qui confirme mon idée —encore une fois, pour ne pas souffrir—. Sinon, tu devrais vivre avec le choc de deux idées à l’intérieur. Pour quoi faire ?

Jimmy : Et l’éducation ?

Mookie : Il n’y aura pas d’éducation. C’est fini pour plusieurs raisons. D’abord : toute la connaissance est déjà disponible. Elle a toujours été dans le téléphone, maintenant c’est plus facile parce que tu peux lui demander directement. Les écoles aujourd’hui sont des baby-sitters glorifiées. On y met l’enfant pour que les parents puissent aller travailler. Chose qu’ils n’auront pas non plus à faire bien longtemps, parce que l’IA va remplacer le travail.

La pandémie a été une répétition de tout ça. Les enfants à la maison, les parents travaillant de chez eux. Et nous avons obtenu un vaccin en un an, nous avons réglé la question, nous sommes revenus là où nous étions.

Regarde : l’humanité a éliminé la faim. Il y a une poignée de zones où il y a la faim, mais le reste du monde ne manque pas de nourriture. De fait il y a de l’obésité partout, pas seulement dans les pays riches. Je lisais que les enfants italiens sont les plus gros d’Europe. Tout animal est préparé à composer avec la pénurie, pas avec l’abondance.

Au lieu de regarder les réussites, nous disons : « Nous détruisons la planète, nous tuons les animaux, le tsunami arrive, l’astéroïde arrive. » Retourne-toi, arrête-toi une minute, regarde en arrière. Nous avons fait quelque chose de bien.

Jimmy : Et que dis-tu à ceux que ton regard effraie ?

Mookie : Si j’ai raison, les gens ne devraient pas écouter ma théorie —parce qu’écouter ma théorie leur fait du mal—. Quand je dis « nous fuyons la souffrance », ce que je dis, c’est que nous sommes tous des lâches. Qui veut être lâche ? Tu sais que c’est la seule insulte qui existe dans toutes les langues : lâche.

Alors les gens ne veulent pas savoir qu’ils fuient la souffrance. Ils veulent croire qu’ils vont vers les petits-enfants, vers l’avenir. Et ils ont raison de ne pas vouloir m’écouter. Si j’accepte que la seule chose que je fais, c’est de fuir la souffrance, je me sens lâche. Et je vais me sentir mal.

Je suis dans une situation géniale : si on m’écoute, j’ai raison. Si on ne m’écoute pas, j’ai raison aussi.

Note éditoriale

Deux attributions de l’invité sont reproduites telles qu’elles ont été dites : le biais de confirmation est habituellement attribué à Peter Wason, non à Daniel Kahneman ; et Thomas Hobbes (1588-1679) est une figure du XVIIe siècle, non du XVIe.

Enregistrée au Solanas Convention Center, Punta Ballena, Maldonado, Uruguay.

Éditée pour la lecture à partir de la transcription originale de la vidéo.