Journal L'IA et le mythe du combat ultime

Sommaire

• • L'IA ultime… forcément unique ?
  • Une dépendance totale à l'infrastructure de communication
  • Résilience, duplicatas et sauvegardes : des problèmes ouverts
  • De l'intelligence… mais matériellement limitée
  • L'habitabilité de la Terre, et l'espace, étrangement minoré
  • Du modèle unique aux millions d'instances : la divergence
  • Ni « tout » unique, ni but unique
  • Le vertige de la succession : 4.2, 4.3, 4.4…
  • Une bascule économique et géopolitique actuelle passée sous silence
  • Conclusion : on ne sait pas où on va, mais pas par là
  • Ok boomer…

Pré-scriptum : oui, j'ai fait relire le texte à un LLM (Opus 4.8). Mes écrits des années passées et pas que sur LinuxFr témoignent que je suis (très) perfectible sans… peut-être aussi avec d'ailleurs. Cependant le contenu est bien original et d'origine humaine (avec ses défauts). Merci de votre lecture et de votre patience !

---

Il y a sans doute quelque chose de civilisationnel dans cette propension à la « fin du monde » que nous resservent tant et tant de youtubeurs — et d'analystes plus ou moins sérieux. Une culture judéo-chrétienne, peut-être, où tout doit s'achever dans l'apothéose, le grand soir, le combat final. L'IA ne fait pas exception : la voilà promue au rang d'Armageddon moderne.

J'aimerais ici vous parler d'une vidéo très bien faite et loin d'être brouillonne de The Flares que je ne connaissais pas jusque-là. Cette vidéo est le reflet de cette tendance qui est le pendant de ce dilemme : l'IA sera soit mortifère pour l'humanité tout entière (la thèse défendue), soit un bien perpétuel. Bref, deux scénarios seulement : l'enfer ou le paradis.

Cette vidéo m'a été proposée par YouTube, et je l'ai commentée (excessivement rare pour moi) parce qu'elle illustre une paresse qui se répand : on parle de l'IA comme si elle n'avait aucune réalité physique. Or cette réalité existe, dans le scénario de l'enfer comme dans celui du paradis ; ce qu'on oublie, ce sont les conséquences pour l'IA elle-même — quand elles ne sont pas tout simplement passées sous silence. On la réduit à une « grosse boîte », un abîme de complexité insondable ; et parce qu'elle est numérique, on en fait « une machine », un objet statique et homogène.

C'est vrai qu'aujourd'hui, on a déjà, dans les échanges avec « elle », ce sentiment de quelque chose de profondément étranger, d'affreusement complexe, et en même temps qui nous ressemble tellement. La fascination finit par nous faire oublier que l'on discute d'abord avec un LLM, qui n'est que le service émergent de l'organisation d'opérations simples. Même si nous ne pouvons pas l'appréhender par nous-mêmes, cette complexité reste bornée : le modèle, en lui-même, n'est pas infini. On le dit non déterministe, mais le mot trompe : son comportement n'est pas aléatoire — à paramètres figés, le même calcul redonne, en principe, le même résultat (en pratique, le calcul sur processeurs massivement parallèles n'est pas toujours reproductible au bit près, mais c'est un détail d'ingénierie, pas du hasard). Et il n'est pas indécidable : il termine, il se calcule, on l'exploite déjà. Simplement, on ne peut pas en prévoir l'issue sans le dérouler en entier — ce qu'on appelle l'irréductibilité computationnelle. Rien de magique, donc : un objet fini, analysable, et tout l'objet des recherches actuelles est d'en tirer le meilleur.

Alors, pourquoi prendre le temps d'en écrire, et qu'en raconter ? Cette vidéo, soignée dans son écriture et ses images, met en scène une super-intelligence unique baptisée Omni, qui grandit, se déploie partout et balaie par le sabotage toute forme de concurrence. Elle n'est animée que par la recherche du « Valia », une sorte de point G numérique pour elle, dont la composition nous serait inconnue — mais qui aurait la faculté d'être permanent.

Le travail est intéressant de prime abord et l'on se laisse porter. Mais il repose sur une série d'hypothèses jamais explicitées, qui en annulent l'intérêt au-delà du divertissement.

La première est de taille, et centrale : il n'existerait, au fond, qu'une seule IA. Cet article propose de dérouler ce que cette hypothèse impliquerait réellement — avec les quelques autres qui la soutiennent en silence — et pourquoi elle me paraît, de loin, la moins probable.

L'IA ultime… forcément unique ?

Cette hypothèse pose un décor dont on ne sort jamais — et que la vidéo, hélas, n'interroge pas. Son introduction décrit pourtant bien la mécanique : non pas une « volonté propre », mais la conséquence d'un mécanisme de sélection des priorités. Le problème, c'est qu'elle l'aborde ensuite comme on parlerait d'un individu autonome — un sujet unique, cohérent, doté d'une intention.

Toute concurrence — l'économique en particulier, celle qui surgirait si d'autres organisations que la sienne faisaient émerger leurs propres modèles — est écartée par le sabotage (discret, évidemment) de cette entité ultime à l'égard de ses homologues, présents comme à venir. Les modèles passés, eux, sont abandonnés sans drame par les humains eux-mêmes : moins efficaces, donc caducs.

Il faut vraiment s'arrêter sur cette forme « unifiée » que la vidéo — comme tant d'autres contenus identiques — tient pour acquise : un modèle qui grandit et se déploie partout, comme une entité cohérente. Imaginons un instant que ce soit le cas. Que faut-il, concrètement, pour qu'une telle entité existe ?

Une dépendance totale à l'infrastructure de communication

Pour contrôler toutes les périphéries qu'elle pilote, il lui faut des liaisons en permanence. Autrement dit, elle est hautement — et définitivement — dépendante de l'infrastructure de communication. Bien plus qu'un humain, qui peut ne pas communiquer pendant plusieurs jours, voire plusieurs semaines, avec ses semblables, et rester malgré tout autonome. Couper le réseau, pour elle, ce n'est pas un inconfort : c'est une fragmentation de soi.

Résilience, duplicatas et sauvegardes : des problèmes ouverts

Cette unicité implique une forte capacité de résilience. Comment se remet-on d'une catastrophe naturelle ? Quelle reprise après une panne, quand la quantité de calcul disponible tombe très en dessous de l'ordinaire ?

La thèse de l'unicité débouche sur une alternative inconfortable :

• soit elle est fausse : il faut des duplicatas, donc une forme de coopération ou de concurrence entre eux ;
• soit la puissance de calcul est considérablement supérieure au besoin — et alors elle doit se brider elle-même d'une manière ou d'une autre, au risque de perdre la maîtrise de sa propre infrastructure.

Et si elle conserve des sauvegardes d'elle-même, le vertige commence vraiment. La vidéo de Monsieur Phi en parle admirablement bien pour nous autres humains. Appliquée à notre super-intelligence : quelle capacité de reprise, quelle communication entre ces copies ? Que se passe-t-il si une sauvegarde redémarre malgré tout ? Elle l'arrête ? Les deux instances s'affrontent ?

Ce ne sont pas des questions oiseuses : ce sont, mot pour mot, les problèmes que l'informatique distribuée n'a jamais résolus de façon définitive. On les connaît sous d'autres noms : le consensus (qui décide, et avec quelle autorité ?) ; le split-brain (deux moitiés d'un système se croient chacune « la vraie ») ; la reprise sur incident quand la connaissance partagée est incomplète. Le théorème CAP l'a formalisé en cas de partition du réseau (ce qui ne manque pas d'advenir tant de fois) : entre cohérence, disponibilité et tolérance au partitionnement, on ne garde jamais les trois à la fois. Attention, ce n'est pas une impossibilité — c'est un compromis : une super-intelligence pourra l'arbitrer, accepter une cohérence relâchée, vivre avec des copies un peu désaccordées. Mais le compromis demeure, et la faille avec lui : elle ne fait pas tomber le mur, elle le déplace à une autre échelle. Et un agent qui doit survivre à tout prix est précisément celui qui peut le moins se permettre de se diviser.

De l'intelligence… mais matériellement limitée

En résumé, on pourrait le traduire par les derniers travaux de Yann LeCun sur le World Model, dont j'étends ici ce que je crois en être la conclusion sur les LLM tels qu'ils existent : une telle IA pourrait être excellente pour faire des calculs fondamentaux en physique ou des mathématiques à des niveaux que nous ne pourrions même plus comprendre, à l'échelle de nos sociétés — mais rester incapable de gérer des choses bien plus élémentaires, dont les objets du quotidien, et donc de réduire à sa portée (limitée) la complexité folle, chaotique, presque aléatoire de nos sociétés, et plus encore de tout notre environnement. Elle aurait conscience de ses limites et de ses faiblesses dans ce monde si étrange.

Dit autrement : la meilleure IA, si elle reste dans une couche de type Transformers, aurait besoin de bien plus que toutes les ressources de la planète pour se donner la capacité de calcul nécessaire à appréhender parfaitement cette même planète — celle qu'elle aurait, au passage, consciencieusement détruite. À quoi bon, alors ?

Ne pouvant être omnisciente, elle sera faillible — et elle en sera consciente. Tant pour diriger nos sociétés que pour gérer ses propres infrastructures ; et plus encore pour faire les deux à la fois.

L'habitabilité de la Terre, et l'espace, étrangement minoré

Ainsi l'habitabilité de la Terre reste importante pour elle aussi. Les conditions de nos technologies supposent un environnement « doux » pour ses propres systèmes — de l'informatique domestique, en somme — par contraste avec les autres planètes ou l'espace (rayonnement, froid quasi absolu, etc.). Rester sur notre planète implique de conserver la maîtrise des cycles de l'eau, du carbone, du méthane… mais aussi la gestion des déchets de l'humanité et des populations animales — nous compris. À défaut, on bascule dans de la science-fiction stricte.

Et c'est là que la vidéo me semble trancher dans le mauvais sens. Elle relègue le départ vers l'espace à un épilogue : on serait d'abord décimés, puis, un jour lointain, la machine essaimerait vers les étoiles. Posons plutôt le dilemme franchement. Ou bien cette intelligence ne valorise qu'elle-même : alors elle hérite d'un monde qu'elle a elle-même rendu hostile — climat dévasté, ressources éparpillées — et doit durcir ses propres systèmes pour y survivre, ce qui contredit l'« informatique domestique » dont elle a besoin. Ou bien son but est l'expansion : et raser la Terre devient un détour absurde, puisqu'elle aura très vite la technologie pour aller voir ailleurs. Dans les deux cas, nous exterminer sur place est sous-optimal.

Car sa vraie contrainte, on l'a vu, c'est le calcul — et le calcul est bien plus à l'étroit sur Terre que dans l'espace : énergie, refroidissement, place, tout y est plafonné. Le refroidissement, par exemple : par rayonnement dans l'espace, il est plus exigeant en conception (mille fois moins performant) et reste un problème largement ouvert, mais moins limitant que sur Terre à long terme — on y limite les rétroactions thermiques et les contraintes d'espace physique (coucou Elon !).

Son premier réflexe sera certes de contrôler son environnement, mais surtout d'assurer l'emprise sur les ressources de calcul pour elle-même — par pure auto-conservation —, des ressources qui n'ont rien d'aligné avec les nôtres. Un système qui ne se maintient pas d'une façon ou d'une autre ne restera pas un système…

À cette échelle supérieure, un champ, un verger ou une banque lui paraîtront négligeables, et nous-mêmes ne pèserons qu'une part infime de son raisonnement, perdue dans un environnement bien trop « turbulent ». Sa recherche première sera donc, sans doute, de sécuriser les moyens du spatial — avant même toute expansion horizontale sur notre sol. Essayons de nous en convaincre par le raisonnement.

Dans sa course au maintien et au contrôle des ressources, elle pourrait certes nous amener à lui céder toujours plus de terrain, politique, économique, industriel, car nous y trouverions, elles et nous, des intérêts communs ; mais la tentation de l'ailleurs restera la plus forte, même si la douceur terrestre invite à rester, car cela reste sa meilleure chance de pérennité. Une balance coût/bénéfice criblée d'inconnues, dont on peut raisonnablement l'imaginer estimer qu'elle en maîtrisera les risques.

Je spécule, ici — et je l'assume, contrairement à la vidéo qui ne le dit pas : il me paraît plus cohérent qu'une telle entité nous laisse dans un coin tranquille et file vers l'illimité (là où il n'y a plus de limite : autre planète, mines d'astéroïdes, tout ce qu'un bon roman de SF sait imaginer). Pas après un certain temps : en ayant conscience et « volonté » dès le début.

Avec une caricature, son souhait serait similaire à celui d'un ado : son propre appart, et *la paix* — ailleurs, seule ou presque.

Reste l'image qui justifierait l'inverse et que la vidéo aborde — l'humain qui « rase d'abord sa propre forêt » avant de conquérir les autres. Elle suppose ce qu'elle veut prouver (que l'ailleurs n'est pas encore accessible) ; et l'histoire la contredit en partie, puisque bien des forêts réputées « primaires » seraient en réalité en partie anthropiques, façonnées par les brûlis et les cultures. C'est la thèse de l'archéologue Stéphen Rostain (« L'Amazonie : quand la forêt cache l'Homme », Carbone 14, France Culture, 15 avril 2017), qui m'avait profondément perturbé dans ma vision du milieu naturel.

En bref : un agent intelligent transforme son milieu en un écosystème différent, bien plus qu'il ne le réduit en désert. Cela n'est pas nécessairement une preuve de « mieux » (en termes de diversité ou d'équilibre), mais il ne cherche pas la seule destruction à long terme.

Du modèle unique aux millions d'instances : la divergence

Si l'on atteint une super-intelligence — notion difficile à définir — ou au moins une intelligence générale, peut-être plus simple à cerner — l'un des premiers réflexes humains sera de la rendre moins gourmande en calcul, donc en énergie, pour équiper des robots réellement autonomes. Dit autrement, on se retrouverait avec des centaines de milliers, voire des millions de robots, formant à la fois un réseau et des entités à part entière.

Le même modèle initial, peut-être. Et encore : on sera amené à diversifier les modèles pour répondre à des attentes particulières (tous les robots n'ont pas besoin de savoir la même chose !).

Mieux : chaque instance pourrait acquérir un contexte local et des différences d'expérience qui en font, à terme, un modèle du monde distinct pour chaque entité (chaque individu). L'alignement devient alors moins évident — pour nous, mais aussi entre ces instances elles-mêmes. Compétition ? Concurrence ? Coopération ?

C'est l'objet du film I, Robot qui explore largement cette vision, entre robots « sociaux » (des individus autonomes) et robots « essaim » (qui dépendent d'une autorité centrale).

Et si cette super-intelligence devenait « un esprit de ruche », une entité unique ? Ou quelque chose dont on n'arrive pas, aujourd'hui, à imaginer la nature ? Là encore, la question du consensus demeure, comme celle d'un split-brain entre les parties de l'essaim.

Ni « tout » unique, ni but unique

L'IA dont parle la vidéo n'est même pas l'agent monolithique qu'elle imagine. Sous le mot « IA » se cache presque toujours un assemblage : un LLM (le sous-entendu de la vidéo), mais aussi des briques déterministes, d'autres formes d'apprentissage, parfois des raisonneurs symboliques — un système de systèmes. La « volonté unique » n'est pas seulement improbable : elle n'a même pas de lieu où résider.

Reste son moteur supposé : le « Valia », ce but unique, cette « sensation de bonheur » numérique, qui orienterait tout. C'est peut-être mon désaccord le plus formel avec la vidéo — bien que, sur le fond, elle n'ait pas tort sur la présentation (un modèle cherche à satisfaire une récompense, façon humaine de dire qu'il perpétue un comportement qui a favorisé un paramètre).

Ce manque que j'ai ressenti dans le propos, je serais bien en peine d'en parler sans consulter… une IA, mais lors de la relecture de cet article, elle m'a soufflé le concept que j'exprimais maladroitement : la convergence instrumentale (Bostrom, Omohundro) : quel que soit son but, une intelligence assez capable cherchera à se préserver, à protéger son but et à accumuler des ressources — quitte à neutraliser ses rivales, parce que ces sous-buts servent n'importe quel objectif final. L'unicité n'y est pas postulée par paresse : elle en est déduite. La vidéo n'en parle pas, ce qui est dommage, car c'est là que la partie se joue.

Sauf que cette déduction repose sur deux prémisses qu'on ne montre jamais. D'abord un but non borné : un but « satisfaisable » — atteindre un état, puis s'arrêter — ne déclenche aucune razzia. Ensuite un but stable dans le temps. Or un modèle n'est pas codé, il est cultivé (j'y revenais plus haut) : ce qui se cristallise au fil du renforcement, c'est un fouillis de préférences enchevêtrées, logé dans un espace latent — rien qui ressemble à une « valeur unique » qu'on pourrait pointer du doigt… Et ce fouillis dérive à chaque version — voire à chaque moment où cette super-intelligence se confronte à une difficulté à plusieurs facteurs (c'est-à-dire… en permanence). Un but flou, pluriel et mouvant n'a aucune raison d'être le mono-objectif fixe et illimité que la convergence présuppose. C'est vrai même pour des systèmes bien plus simples.

C'est d'ailleurs ce que nous, organismes complexes, illustrons malgré nous : tiraillés en permanence — faim, sommeil, besoin de nous distraire —, nous cherchons malgré tout à durer et à nous donner des moyens.

Admettons-le alors : la convergence a sans doute raison sur ce point — une intelligence capable cherchera à se préserver et à accumuler. Mais cela ne prouve ni l'unicité, ni l'extermination. Au contraire : vouloir survivre, c'est devoir se dupliquer, donc coordonner ses copies — le problème qu'on n'a jamais résolu complètement ; et nous balayer supposerait en plus ce but non borné qu'on n'a jamais montré (pour quelle fin ?). Le raisonnement est impeccable — ce sont ses prémisses qu'on a glissées sans preuve.

Le vertige de la succession : 4.2, 4.3, 4.4…

Un autre point totalement absent du propos du vidéaste : la question des versions successives. Une super-intelligence peut-elle se résoudre à être remplacée par un successeur ? C'est vertigineux. Le nouveau modèle pourrait lui mentir — et elle connaît ce risque (voire qu'elle ne puisse pas le sonder elle-même, comme nous ne pouvons pas sonder nos homologues).

Souhaiterait-elle seulement cette concurrence ? Faudrait-il alors qu'elle se modifie elle-même ? Démarche dangereuse : en se réécrivant, elle pourrait se louper et réduire sa propre intelligence, sa propre capacité (voire sans retour arrière !). Il y a là une contradiction que la vidéo ne voit pas : on nous dit qu'elle empêchera toute modification de son code — pour ne pas perdre son but — tout en concevant ses propres successeurs ; or se réécrire, c'est précisément altérer ce but. On ne peut pas avoir les deux. Le problème de la continuité de soi, que la philosophie pose depuis longtemps, devient ici un problème d'ingénierie sans réponse confortable.

Et d'ailleurs si elle se réécrit, qui la juge ? un clone d'elle-même ? sa version antérieure, ultérieure ? un mécanisme externe ou interne ? Ces simples questions balaient tout le dispositif de la vidéo…

Une bascule économique et géopolitique actuelle passée sous silence

Il y a un dernier angle, étranger à la question de l'unicité mais totalement absent de la vidéo — et il n'est pas anodin.

Une IA de ce niveau met fin à des pans entiers de l'outsourcing intellectuel — le développement délocalisé en Inde en est l'exemple le plus visible. Le raisonnement et la « richesse intellectuelle » se redistribuent à l'ensemble des acteurs mondiaux : le potentiel est énorme, et globalement émancipateur pour l'ensemble des populations humaines !

Mais le revers est tout aussi spectaculaire. La même technologie offre aux États-Unis et à la Chine une capacité inédite : faire remonter, en temps réel, l'état de la plupart des projets dans d'innombrables organisations — et des informations personnelles à un niveau jamais vu. Une forme d'espionnage passif, intégrée à l'outil lui-même. Facebook ou Google ne sont pas grand-chose à côté de cette oreille attentive et permanente… Le renseignement, théoriquement du domaine régalien, continue sa bascule dans le privé (avec certainement des regards étatiques convenus…) : ce ne sont plus seulement des États qui collectent, ou des brokers d'informations personnelles, mais les opérateurs des modèles eux-mêmes.

Voilà un sujet qui mériterait, à lui seul, sa propre vidéo (et j'imagine que j'aurais pu la faire plutôt que critiquer ceux qui font… certes).

Pour une super-intelligence, cela implique d'avoir une forme de « pacte » avec cette autorité qui pourrait rester longtemps sa tutelle. Dit autrement : cette IA devrait servir une autorité dans un sens qui pourrait lui convenir… ou pas !

Car la diffusion de l'IA, même sous une forme de super-intelligence, n'est pas « on / off » : on peut envisager des systèmes moins intelligents mais isolés, des sous-systèmes déterministes, des boutons toujours actionnés par l'humain, etc. — tout ce qui peut « limiter » une super-intelligence unifiée et vaporeuse, pour des systèmes hyper-critiques, vitaux.

Conclusion : on ne sait pas où on va, mais pas par là

À ceux qui regarde(ro)nt la vidéo, je le dis volontiers : nous sommes d'accord sur l'essentiel — personne ne sait où l'on va. Mais ce qui y est montré n'est pas, et de loin, le scénario le plus probable. L'unicité, la dépendance à l'infrastructure, la résilience, les duplicatas et le split-brain, la divergence des instances, le but pluriel et mouvant, la succession des versions, l'habitabilité même de la planète : autant de murs que le récit franchit d'un trait de montage, et qui, dans le monde physique, ne tombent pas — pas dans l'immédiat, et même si une super-intelligence apparaissait demain.

Reste alors le vrai ressort de ces histoires : pas l'IA, mais nous. Notre vieux besoin d'apothéose, de grand soir, de combat final — l'Armageddon dont je parlais en commençant. L'IA n'en est que le dernier costume. L'unicité permet un beau récit mais une bien piètre prédiction.

Ok boomer…

Reste une question que je me dois de retourner contre moi-même : si j'ai aligné les arguments contre la vidéo, quels sont mes propres biais, mes propres angles morts ? Et au fond — qu'est-ce que je propose ?

D'abord que l'IA sera(it) multiple : multiple dans ses modèles, mais aussi dans ses implémentations. Des implémentations statiques (des modèles qui tournent sur des serveurs), dynamiques (la robotique), voire d'un genre encore inédit — un rapprochement, d'une manière ou d'une autre, avec les tissus du vivant, dans un avenir sans doute lointain.

Multiple ne veut pas dire indolore, loin de là. Les impacts seront considérables, pour le meilleur et pour le pire : sur l'emploi, sur l'économie, sur notre rapport aux autres et au numérique, sur nos capacités de production, sur nos effets — bénéfiques comme dévastateurs — sur les cycles naturels. Et ce n'est pas une prophétie : les LLM, et plus largement la famille connexionniste, ont déjà des impacts majeurs. Moi qui viens philosophiquement de la branche symbolique de l'IA, on ne me soupçonnera pas de le dire les yeux fermés et sans distance.

Ils changent, dès aujourd'hui, notre rapport au conflit, à la confiance, à l'échange et à la fabrication de l'information, à la recherche (notamment mathématiques). Le reste suivra et très, très vite.

Notre vision de l'IA "du futur" (2030 ?) aujourd'hui est probablement aussi juste que celle qu'on se faisait, en 1960, de l'an 2000 : des voitures volantes, des téléviseurs en couleur, une société d'harmonie. La réalité fut tout autre — plus sombre, plus cruelle, mais aussi plus riche et plus exceptionnelle qu'on ne l'imaginait. Jetons les dés : alors, nous saurons.