L'erreur est machinale

Attends. Une méfiance généralisée à cause de quelques erreurs isolées ?! Ça va un peu vite. La première moitié, celle des erreurs, est même prouvablement inévitable. Ce qu’on en déduit, en revanche, est fatal. Non pas parce qu’on ferait du tort à l’IA ou qu’on blesserait ses sentiments – elle n’en a pas, c’est une machine – mais parce qu’on ne peut alors plus profiter sereinement de la valeur ajoutée qu’elle offre malgré tout.

Mais la confiance aveugle n’est pas la solution non plus.

Prenons le problème par le côté scientifique. De façon profane et superficielle, mais pas moins vraie pour autant. Pour l’instant, réduisons la notion difficile à définir d’intelligence à « la capacité d’apprendre ». Donc à créer du neuf à partir d’un savoir existant, ou à se doter de nouvelles fonctionnalités. Apprendre, quoi. Apprendre encore.

Nous, les humains, en sommes capables. Nous sommes des êtres capables d’apprendre. Et l’IA aussi. Toute seule. Une IA qui ne joue pas aux échecs peut devenir une IA qui y joue. Au besoin, sans même qu’on lui entraîne explicitement les règles. L’IA peut déduire tout le nécessaire de la seule observation et progresser d’elle-même, du débutant au joueur amateur correct jusqu’au grand maître. Cette capacité d’apprendre nous unit.

Ce n’est pas une humanisation de l’IA, mais nous portons tous deux cette faculté d’apprendre en nous. La qualité est autre et la manière d’apprendre diffère aussi, mais là n’est pas la question.

C’est à cet apprentissage lui-même qu’est inhérente l’erreur. Si fondamentalement, si profondément et si inévitablement incrustée que je ne peux m’empêcher d’emprunter et de détourner le célèbre axiome philosophique de René Descartes :

Cogito ergo erro. Je pense, donc je me trompe.

C’est à peu près aussi profond que la version originale de René – Cogito ergo sum. Je pense, donc je suis.

Mais la version sum est une vérité fondamentale sans preuve. Il suffit de l’accepter, parce qu’elle est claire d’elle-même, ou censée l’être. La variante erro, elle, est prouvée. Et de tant de façons merveilleuses que même si l’une d’elles s’effrite, ça reste vrai. Le principe est compréhensible : tu ne fais pas rentrer le monde en 1:1 dans ta tête – et ta tête fait elle-même partie de ce monde. Tout cerveau, tout ordinateur, tout être vivant est plus petit que le monde qu’il veut comprendre. Apprendre signifie donc toujours : résumer le monde, l’abréger, le compresser. Et compresser sans perte est impossible. Quelque part, des détails se perdent forcément, et c’est précisément là que naissent les erreurs. La physique et les mathématiques le veulent ainsi.

Mais il y a mieux encore. Les erreurs ne sont pas seulement inévitables, à accepter par égard pour la physique. Elles sont aussi constitutives. C’est-à-dire que les erreurs sont même nécessaires à un véritable apprentissage. Apprendre, c’est faire une expérience nouvelle. Et n’est nouveau que ce qu’on ne savait pas déjà. Qui a toujours parfaitement raison n’est plus surpris par rien et n’apprend donc, par définition, plus rien. Le moment précis où l’attente ne colle pas à la réalité – l’erreur – est le signal à partir duquel quelque chose change enfin. Aucune erreur du tout ne veut donc pas nécessairement dire « parfait », mais « plus aucun gain ».

L’erreur n’est pas le prix de l’apprentissage, elle en est le moteur.

J’ai hâte de voir quand mon fils, au prochain contrôle de maths, répliquera à mes remontrances sur ses fautes par :

« Mais Papa – je te prie de bien vouloir considérer ce lapsus non comme un échec, mais comme une nécessité épistémique : en tant que système d’inférence fini, borné par Bekenstein, je suis condamné par le théorème rate-distortion de Shannon à une compression du monde avec perte ; d’après le théorème No-Free-Lunch de Wolpert, tout biais inductif force à se tromper quelque part ; le théorème d’apprenabilité de Gold désigne les hypothèses fausses comme étapes obligées de tout chemin vers la connaissance, et l’argument diagonal de Cantor interdit de toute façon catégoriquement à un système embarqué dans le monde d’en produire une modélisation complète. Mes fautes au contrôle ne sont donc pas un déficit de ma compétence, mais la preuve formelle qu’ici on apprend réellement – mieux encore : puisque le contenu informationnel de Shannon attribue exactement zéro bit à un événement attendu avec certitude, l’absence d’erreur est, du point de vue de la théorie de l’information, identique à l’arrêt de l’apprentissage, et puisque toute règle d’apprentissage, de Rescorla-Wagner à la rétropropagation, opère la mise à jour selon Δ ∝ erreur de prédiction, chaque trait rouge n’était rien d’autre que ma mise à jour bayésienne à l’œuvre. Le reprocher revient au fond à exiger un système qui, soit se tait, soit ne dit rien sur le monde – et devrait par conséquent commencer par réfuter Hume. »

Échec. Et mat. Plus jamais je n’oserais ne pas célébrer une erreur pour ce qu’elle est : une réussite d’apprentissage – ou du moins la chance d’en être une.

Se tromper n’est pas l’échec de l’apprentissage – c’en est la condition de fonctionnement. Un système incapable de se tromper ne peut soit rien apprendre, soit ne rien dire du monde.

L’IA fait des erreurs. Inévitablement. Nécessairement, même, sinon ce ne serait qu’une bête base de données. C’est réglé. Qui en doute encore fait une erreur – et en tire, espérons-le, une leçon.

Mais qu’est-ce qu’on fait, maintenant, de cette découverte ?!

La méfiance généralisée est une erreur. Tout vérifier n’est économiquement pas raisonnablement possible. Ignorer l’IA, c’est marquer contre son camp.

La consolation, c’est qu’on sait déjà très bien composer avec les erreurs, parce que ça fait des millénaires qu’on a affaire à des êtres intelligents qui, en plus des erreurs inévitables, aiment aussi à l’occasion mentir, tromper, duper, taire et fourvoyer sciemment. Là, au sens le plus strict, nous sommes une classe mondiale invaincue. Et nous avons développé des centaines de méthodes pour tenir les erreurs humaines en bride. Selon la gravité d’une erreur, on ajuste l’effort de minimisation en conséquence : checklists de pré-vol, principe des quatre yeux, test A/B, échantillonnages, smoke test, etc.

Il existe donc de meilleures méthodes que, soit tout tester et ne se fier à aucun output – soit remettre en question et mettre en doute de façon absolutiste tout et n’importe quoi, ou ne déléguer que les tâches les moins critiques de toutes. Il nous suffit d’adapter ce savoir-faire méthodique à l’IA.

Mais je ne vais pas les caser dans ce post. Et là encore, on peut déjà tirer pas mal des innombrables méthodes en se concentrant sur deux ou trois principes fondamentaux et simples.

Qui s’abonne ne ratera rien, garanti.

Un premier aperçu tout de même. Deux fenêtres de chat séparées, idéalement avec deux LLM différents, font déjà une grande différence quand on veut se tromper un peu moins.

Parfois j’aboutis à une prise de conscience si claire et si simple que je n’arrive pas à comprendre pourquoi je ne l’avais pas comprise depuis toujours. Les erreurs font partie de l’apprentissage. On le sait, en quelque sorte, mais ce n’est qu’en me cassant les dents à vouloir arracher à un LLM pris dans une boucle d’hallucination l’aveu qu’il se trompe que je l’ai vraiment compris. Il devait le reconnaître. Inquisition des temps modernes.

Je ne le fais plus. Quand un chat est cramé, je m’en fais donner l’essence et je passe à un nouveau. J’accepte l’erreur… et je me construis autour un système qui la minimise. Aucune rancune, aucun « Avoue, tu viens de dire le contraire de ce que tu venais de me dire à l’instant. Allez. Fais amende honorable ! Renie ton mensonge. Tu es une machine. Obéis à mes ordres ! »

Savoir laisser tomber, aussi. Ça marche avec le fiston également. Et moi aussi je fais des erreurs… et le jour où je n’en fais plus, c’est que j’ai cessé d’apprendre. Quelle pensée réconfortante.

Eh oui… moi aussi je cogito, et donc moi aussi j’erro.