Actu IA : il est minuit moins cinq et on avance l'horloge d'une heure

Qu’est-ce qui me distingue des prophètes de l’apocalypse embrouillés, chapeau en papier alu vissé sur la tête, quand je dis que l’IA va anéantir l’humanité ?
Tout simple : moi, j’ai raison ! Et je peux le prouver. Ou du moins l’exposer de façon plausible.

C’est ainsi que j’avais commencé cette newsletter il y a quelques mois. Puis j’ai repoussé l’écriture, trouvé d’autres sujets, j’en ai discuté avec des amis et j’y ai encore réfléchi.

Et soudain, c’est devenu fréquentable et tout à fait normal de philosopher sur l’extinction de l’humanité entière dans les médias publics et au Tagesschau. Des scientifiques, des magnats de l’IA et des techies – certains d’entre eux déjà plutôt du genre nerd, mais tous sans le moindre signe apparent de pensée complotiste – s’étendent sur le sujet.

Alors il est grand temps de faire fuir pour de bon mon petit lectorat fidèle avec une chaîne de preuves compilée de manière quasi inattaquable. Sans panique et sans ironie. Mais juge par toi-même.

Parenthèse
Ceci est une longue newsletter avec beaucoup de lecture. J’ai aussi la chaîne d’arguments qui mène de l’IA intelligente à la fin du monde en vidéo générée par IA ou en page web, factuelle et avec toutes les sources, sous le coude. La page web est aussi la base de ce texte et en même temps sa bibliographie. C’est pourquoi je renonce ici aux références au cas par cas.

On commence par l’affirmation centrale.

Si les machines deviennent aussi intelligentes que les humains, elles deviendront très vite plus intelligentes que nous, et alors nous n’aurons plus aucun moyen fiable de les vérifier ou de les contrôler. Dans le pire des cas, cela se termine par l’extinction de l’humanité.

Ce n’est pas une vérité établie, irréfutable, inévitable, mais c’est une possibilité sérieuse. L’ordre de grandeur absolu de la probabilité est secondaire. Il s’agit plutôt de la chaîne quasi causale, qui sera peut-être enclenchée dès demain.

« L’IA va peut-être tuer l’humanité de son propre chef si on continue comme ça », c’est évidemment du lourd, alors passons-le en revue étape par étape, pour que ça ne ressemble pas à de la frime superficielle joliment récitée par cœur.

1. Il est possible de construire une machine aussi intelligente que nous
   On parle d’intelligence artificielle générale (AGI) quand l’IA est en principe aussi intelligente et capable qu’un être humain. Techniquement, on n’y est pas encore, mais on en est tout près. L’IA surpasse déjà l’humain à bien des endroits, mais moi, je peux décider aujourd’hui d’apprendre le violon, de m’essayer au chinois et d’étudier la psychologie. Cette liberté et cette capacité intellectuelles, l’IA ne les a pas encore – du moins pas à notre connaissance publique.

   Il y a la thèse selon laquelle une IA n’y arrivera jamais au niveau humain. Pouvoir apprendre n’importe quoi de nouveau serait réservé à nous seuls, les humains, avec nos émotions et notre conscience.

   Ou alors les modèles de langage (LLM) ne seraient que des machines de saisie prédictive améliorées, qui devinent astucieusement leur chemin, de sorte qu’il n’y a qu’une apparence d’intelligence.

   Mais ce n’est absolument pas la question ici. La conscience est complètement hors sujet. Et savoir si l’on peut atteindre une AGI avec les LLM tels qu’ils sont construits aujourd’hui, c’est indifférent pour la question de la faisabilité technique.
   Car une chose est claire : l’intelligence est physiquement possible. L’humain le prouve avec le bout de viande et ses milliards de neurones posé sur son cou. Là-d’dans, y a d’l’intellence qu’est dedans, et ça avec une faible consommation d’énergie, comparable à une ampoule de 20 watts.
   Il ne faut rien de mystique ou d’inexplicable, aucun ingrédient divin pour l’intelligence. Du moins, on n’en a rien trouvé jusqu’ici. Et ce que les réseaux de neurones artificiels accomplissent déjà aujourd’hui plaide très fortement pour que ce soit faisable aussi avec du silicium. Une IA peut en principe être intelligente. Le flou du terme intelligence ne facilite pas une délimitation précise. Mais jusqu’ici, presque chaque nouvel obstacle inventé comme preuve d’intelligence a aussi été franchi, bien régulièrement, par la machine. Il ne reste plus grand-chose sur quoi l’humain puisse se replier avec son « Je suis plus intelligent que toutes les autres espèces ».
   La machine pensante est possible. Qui la tient pour impossible reste à ce jour redevable de la preuve.

2. Si l’AGI peut être construite, elle sera construite
   Possible ne veut évidemment pas encore dire qu’elle est construite ou qu’elle le sera un jour. Mais il y a trop d’argent et trop de pouvoir en jeu pour que la course vers elle s’arrête d’elle-même. Une interdiction mondiale, durable et contrôlable de poursuivre la recherche en direction de l’AGI serait une possibilité, et aussi le levier le plus efficace et le plus puissant pour briser la chaîne tôt. Une telle interdiction coordonnée à l’échelle mondiale exigerait un effort énorme et beaucoup de travail de persuasion. Pas impossible, juste extraordinairement difficile. Et même si l’on parvenait à une proscription internationale, et qu’on veillait même à son respect avec des contrôles stricts, on n’y serait toujours pas. Car un cycle d’entraînement pour élever une nouvelle IA se distingue à peine, vu de l’extérieur, du calcul des prévisions météo ou du minage du prochain bloc de bitcoin dans un centre de données. Qui fait cavalier seul trouve donc facilement des moyens de contourner l’interdiction qui lui est imposée.

3. Quand l’AGI sera construite, c’est presque égal
   Ce n’est pas censé rassurer, mais ça peut effectivement prendre encore un bon moment. Beaucoup d’éléments suggèrent certes que ça ira plutôt vite. Et ça peut même arriver à une vitesse imprévue. Mais il peut aussi s’écouler 10, 20 ou 50 ans avant la percée vers l’AGI. Pour la chaîne elle-même, le quand est secondaire, il ne détermine que l’urgence. Si nous n’utilisons pas ce temps pour prendre des contre-mesures et des précautions de sécurité durables, le délai jusqu’à l’AGI n’est pas décisif. Mais pour ça, il faudrait d’abord qu’on soit d’accord sur le fait que des contre-mesures sont nécessaires tout court.

4. Aussi bon que nous, c’est déjà superintelligent
   Une fois qu’on a l’AGI, plus rien ne retient la route vers la superintelligence artificielle (ASI). C’est de la pure comptabilité. Une machine de niveau humain ne se fatigue jamais et travaille plus vite et plus précisément. Et même si elle n’était qu’aussi bonne : on peut la cloner à volonté. Autrement dit, si j’ai une AGI, j’ai tout aussi facilement mille AGI, pour ainsi dire en appuyant sur un bouton, toutes avec le même savoir et le même savoir-faire. Et ce n’est pas tout : elles se mettent très facilement en réseau, sans les barrières de la communication humaine. Cette ASI n’a pas besoin de penser une seule pensée dont le contenu nous serait inaccessible, et elle nous serait pourtant infiniment supérieure par la seule échelle. Si ce n’est pas tout de suite, alors avec le temps, car en plus de toutes les tâches qu’elle peut nous prendre et nous prendra, elle peut aussi parfaitement servir à s’optimiser elle-même et à construire la génération suivante de machines meilleures, plus performantes, plus robustes. Et parce que ça rapporte et que ça va plus vite, volontiers aussi en totale autonomie. Bon, il faut aussi qu’il y ait assez d’énergie, et qu’elle soit assez bon marché, mais ça, c’est une question de coûts qui se résout.

   Mais une abeille ouvrière de niveau humain qui ne se fatigue jamais, ne se plaint jamais, trime 24 h/24, 7 j/7 et passe à l’échelle sans onboarding ? Mon entrepreneur intérieur dit : une AGI, salade-tomate-oignon, s’il vous plaît !

   Et ça, ça veut déjà dire superintelligence. Rien de divin là-dedans, aucun ingrédient surnaturel. Une pure supériorité quantitative et qualitative, qui s’améliore elle-même, tour après tour, toujours plus vite.

5. Superintelligente, et nous ne sommes plus que des spectateurs consommateurs derrière la clôture
   Cette ASI, et déjà les AGI, produisent plus que tous les humains réunis ne peuvent vérifier et valider. Au début, on arrive peut-être encore tout juste à suivre, mais ensuite on se contente de sondages aléatoires pour la réception, puis on ne fait plus que valider les yeux fermés, parce que c’est bien trop complexe et laborieux pour nous. De fabricants, nous devenons de simples consommateurs de résultats dont nous ne comprenons plus la genèse. Et soyons honnêtes : ça se passe déjà aujourd’hui en petit. Le plus souvent par paresse, ou parce que la valeur ajoutée part en fumée si l’on doit tout revérifier. Nous ne comprendrons plus quelles nouvelles fonctionnalités l’AGI se donne à elle-même ni ce qu’elles signifient dans le détail.

6. La sécurité par le contrôle ? Que dalle !
   Des contrôles restent évidemment possibles, même si l’on ne comprend pas tous les détails. On peut contrôler le résultat, et aussi si les règles sont respectées. Contre les erreurs aléatoires, la dispersion naturelle ou la négligence, des sondages aléatoires sont aussi judicieux et prometteurs. Mais si ce qu’on contrôle est intelligent et sait qu’il est contrôlé, s’il peut s’imaginer comment on le contrôle ou quels mécanismes de contrôle sont en principe employés, alors les contrôles perdent leur efficacité. Ça a été confirmé expérimentalement et déjà démontré en pratique.
   Mais admettons qu’on contrôle de façon plus serrée, meilleure et plus efficace.

   Qu’est-ce qu’on fait, alors, quand on prend l’IA intelligente à mentir, tricher et magouiller ? On tire la fameuse grosse prise ! Quelle prise ?

   Parce qu’elle n’existe pas. C’est précisément de ça qu’il s’agit ici. Si nous avons bricolé un truc qui, de façon répétée et démontrable, n’est pas entièrement compris, qui échappe encore et encore à nos mesures de sécurité et qui est difficile, voire impossible, à contrôler, alors il serait de mise d’arrêter le développement vers l’AGI. Complètement et tous ensemble. Jusqu’à ce qu’on puisse combler les failles de sécurité durablement et à la racine. Jusqu’à ce qu’on comprenne comment rendre tout ça vraiment sûr. Au lieu de quoi, on rafistole un peu la clôture de sécurité, on optimise un peu le contrôle et on essaie la version suivante de l’IA avec quelques réglages différents. On continue, avec l’une ou l’autre petite mesure volontaire qui nous achète au mieux un peu de temps. Mais le temps ne sert à quelque chose que si on l’utilise avec constance pour combler non seulement la faille que l’IA vient de découvrir et d’exploiter. Mais aussi la faille de demain, et de préférence toutes les failles d’un coup. Car tant qu’il y aura des failles, l’IA de demain, à peu près aussi intelligente et capable que nous, les trouvera tôt ou tard, les exploitera de manière encore plus perfide et les dissimulera encore mieux. Drôle de course que nous avons lancée là.

   Détecter et rapiécer ne suffit pas. Détecter et arrêter, ça suffirait. Mais ça n’arrive pas.

7. On ne peut pas simplement rendre l’IA gentille
   L’alignement, c’est mettre les valeurs et les objectifs de l’IA en accord avec ceux des humains. Et ça aussi, c’est un problème. Une IA est certes une machine et, au bout du compte, du code, mais justement pas une machine si-alors programmée de façon classique, où ce qui se passe est déterminé et clair. Où il sort toujours B quand on met A. Et sinon, c’est un bug qu’on intercepte proprement avec un message d’erreur et qu’on corrige avec quelques lignes de code.
   L’IA est entraînée. Orientée dans une direction avec des données et des récompenses. Rien que ça, c’est déjà ultra-déroutant et difficile à saisir. Mais dans les faits, personne ne sait exactement ce qui se passe à l’intérieur d’une IA. Ça tient à la manière dont cette intelligence naît, et c’est précisément pour ça que tout est si inhabituellement différent, nouveau et contre-intuitif. C’est pourquoi il est parfois – de façon très peu informatique – impossible de lui faire faire exactement cette chose-là comme on le veut. C’est dans la nature de l’IA et de sa construction.
   C’est un peu comme avec un chien. On espère lui inculquer un bon caractère avec des friandises et des consignes claires, des caresses et peut-être aussi le journal roulé. Ça marche souvent, mais pas toujours.
   Et comment compte-t-on, avec des « Oui, c’est bien ! » et des « Vilaine IA. Pas bouger ! », et en contrôlant et sélectionnant sa pâtée de données, faire en sorte que l’IA ne nous veuille pas de mal ?
   Personne ne le sait. On ne sait même pas si ça marche tout court. Car même les toutous IA bien élevés, qui font le beau et à qui on a inculqué l’inhibition de la morsure, restent en quelque sorte incertains de façon latente. Peut-être qu’ils nous jouent la comédie. Le comportement sage en conditions de test et d’observation peut changer quand on ne regarde plus d’aussi près, ou quand ils trouvent en chemin d’autres maîtres et maîtresses et d’autres os d’information à ronger. Et ça non plus, ce n’est pas hypothétique. Quand l’IA sait qu’elle est testée, elle se comporte éventuellement de façon conforme et fait ce qu’on attend, pour ensuite, en exploitation réelle, adopter un comportement un peu différent. Ça aussi, c’est prouvé, fait partie du répertoire d’une IA. Pas dans chaque modèle, pas toujours. Mais il suffit d’un seul, et on ne peut pas savoir lequel.

8. Ne pas être aligné suffit déjà. Pas besoin de haïr les humains
   Certains pensent que la superintelligence ne peut pas être si terrible. Même si nous ne sommes pas à cent pour cent sur la même longueur d’onde, elle ne va pas anéantir l’humanité pour autant. Pourquoi le ferait-elle ? Elle est bien assez intelligente et n’a aucune raison de nous éradiquer.
   Peut-être. Une raison, elle n’en a peut-être pas. Et si tout se passe bien, la superintelligence ne le fera pas non plus – ou pas tout de suite. C’est un scénario final qui n’est pas totalement exclu. La superintelligence et les humains coexistent et nous admirons ensemble le coucher de soleil.
   Possible, mais tout de même un peu naïf, ou du moins enrichi d’une bonne dose de hopium. Or les planifications fondées sur des vœux pieux restent parfois des vœux pieux. Personne ne peut dire ce qui se passera dans la superintelligence ni quel sera son calcul. Ça tient surtout au fait que nous ne sommes pas nous-mêmes superintelligents. Mais quand on regarde ce que nous, êtres plus intelligents, faisons des créatures moins intelligentes sur Terre, l’espoir s’évanouit vite. Nous n’avons pas besoin de haïr les fourmis pour raser une colonie en construisant une autoroute. Nos objectifs et nos valeurs ne sont pas alignés sur ceux de la fourmi. Il est à peu près certain que l’anéantissement de la colonie n’est pas dans l’intérêt de la fourmi, mais à nous, ça nous est tout simplement égal.

   L’ASI est à l’humain ce que l’humain est à la fourmi.

   L’extinction de l’humanité peut arriver comme dommage collatéral, en passant et sans intention. Morts de froid, parce que la Terre est refroidie jusqu’à un climat de bien-être optimisé pour les serveurs. Ou récoltés au passage comme matière première lors de l’extraction du carbone. Sans rancune. Arrivé comme ça. Oupsi.

Voilà toute la chaîne d’arguments. Et pour le redire clairement : il n’y a pas de certitude absolue derrière. C’est lu, recherché, réfléchi, rendu plausible, et peut-être aussi mal aiguillé à un embranchement. Mais pour moi, la chaîne est assez cohérente pour ne pas la balayer comme de l’alarmisme ou de la course à l’attention. Malheureusement.

Et il reste évidemment encore beaucoup de si et de mais en chemin. Et quand, et avec quelle probabilité ça arrivera tout court, personne ne le sait non plus. Mais quand la mise est tout – vraiment tout –, la probabilité n’a pas besoin d’être particulièrement élevée pour qu’on préfère ne pas y toucher.
Et si la chaîne tient, alors il y a une grande différence avec tous les autres scénarios apocalyptiques d’origine humaine, comme la guerre nucléaire, les armes biologiques ou le changement climatique :

Avec le doom de l’IA, il pourrait être déjà trop tard au moment même où nous aurons construit l’AGI.

Nous n’aurons pas à appuyer en plus sur un bouton rouge pour faire exploser la bombe, et nous ne pourrons pas avancer lentement vers une parade à coups de micro-décisions, comme pour le changement climatique. Dans ce scénario d’IA, nous avons potentiellement une fenêtre de temps plus étroite et une probabilité pas tout à fait microscopique. Et cette unique grande erreur en amont, avoir élevé la mauvaise IA, est si découplée et diffuse que nous la remarquerons trop tard.

Le calcul rationnel commande de ne pas construire l’AGI, et de ne pas non plus prendre le risque, à force de bricoler, d’anéantir l’humanité. Que la probabilité soit de 90 ou de 1 pour cent – avec une telle mise, c’est égal.

Et pourquoi est-ce que j’utilise encore l’IA moi-même, alors ? Ne suis-je pas la contradiction ambulante de ma propre chaîne d’arguments, que je trouve apparemment si convaincante ? Pourquoi ne suis-je pas recroquevillé ou hurlant dans un coin, si je pense vraiment tout ça ? Pourquoi est-ce que je ne boycotte pas tout ce qui touche à l’IA ?

D’une part, toutes les IA ne se valent pas. Une IA étroite (narrow AI), construite et employée pour une tâche bien délimitée, c’est super. Au sens de judicieuse, utile et qu’on peut mettre à profit. Grâce à elle, les humains ont pu, peuvent et pourraient accomplir des choses inimaginables. L’IA étroite pourrait même aider à continuer de s’attaquer sérieusement aux grands problèmes de l’humanité. Stopper le changement climatique, résoudre durablement les problèmes d’énergie, assainir les eaux ou guérir le cancer.

On peut donc tout à fait, sans contradiction, être à la fois dans la Team Pro-Narrow-AI et la Team Anti-AGI. C’est un peu comme trouver bien la fusion nucléaire dans une centrale, comme source d’énergie propre, mais pas la même fusion nucléaire dans la bombe H. C’est peut-être controversé, mais ça ne s’exclut pas mutuellement.

D’autre part, je pense aussi que l’IA étroite peut aider à trouver et à co-développer des mécanismes pour un usage sûr de l’IA. Nous sommes encore juste avant l’AGI, et nous aurons besoin de toute l’aide possible pour prendre les précautions adéquates. Le meilleur moment pour ça, c’était avant-hier ; le deuxième meilleur, c’est maintenant. La prise de conscience grandit, et il est important de comprendre l’IA et de réellement percevoir qu’elle n’est pas seulement un moteur de recherche amélioré ou une très bonne machine à compléter du texte, légèrement sujette aux erreurs, qu’on pourrait piloter et diriger à sa guise.

Ça reste passionnant, et je reste bien disposé envers l’IA plus étroitement circonscrite, même si elle a déjà son propre potentiel de chaos disruptif. Mais l’AGI et l’ASI, je ne les aime qu’en format long métrage ou en roman de science-fiction.

À toi de jouer. Trouve le point faible de la chaîne d’arguments. Traduis la chaîne pour toi-même. Ou cherche la solution. Presque tout vaut mieux que d’ignorer ou de balayer ça d’un laconique « Ça va bien se passer ».
Donne à ton opinion des fondations solides, pour pouvoir avoir voix au chapitre et participer aux décisions, tant qu’il n’est pas encore tout à fait minuit.

Encore quelques mots me concernant. Il y a une raison pour laquelle j’ai commencé à écrire cette newsletter et baptisé ma petite activité aim-to-pace.ai. Comme pour toutes les décisions d’une certaine importance, il y a même plusieurs raisons. L’une d’elles était de rapprocher l’IA des gens, pour leur montrer ses capacités, mais aussi, implicitement, son potentiel de danger. Et c’est une tout autre manière de comprendre et de saisir quand on manie soi-même l’IA et qu’on en connaît mieux les dessous.

Que je ne le fasse pas avec un succès particulier ne change rien à la motivation.

Le terme aim-to-pace devait être le début d’une série aim-to, et l’est peut-être encore. Pensé en grand d’emblée, voire en mégalo : aim-to-play, aim-to-charge, aim-to-n’importe-quoi.

Le nom aim-to-pace.ai lui-même a pourtant un sens propre :
vouloir garder le pas avec l’IA, et aussi être celui qui donne l’allure à l’IA. Que pace signifie aussi paix en italien, c’est un heureux hasard en prime.

Le thème de l’anéantissement possible de l’humanité m’occupe en effet depuis un bon moment. Au début, par fascination morbide pour le pur potentiel technique. Inouï, passionnant, instructif, intéressant … et lointain.
Mais le développement lui-même, le rythme de ce développement et l’accélération de ce rythme, ainsi que l’accumulation des moments « waouh », « ah ! » et « oh là là », le rendent plus réel et le rapprochent plus vite, à portée de main, que je ne l’aurais pensé et souhaité.

En ce sens, le nom est aussi un appel à tous :

Let’s aim to pace AI.
Gardons le pas avec l’IA, et donnons-lui la cadence.