L'IA est maître de toutes les classes d'erreurs

Accepter l’erreur en soi comme inévitable. Vraiment, au fond de soi. Fait ! Et puis débarque un jeune hyperactif et super malin qui appuie à fond sur YouTube ou te balance un kilo d’Insta en pleine figure, en te proposant le remède miracle universel et à tout faire contre l’incurable érrorite de l’IA. Ça, on ne devrait pas l’accepter comme ça.

Comprenez-moi bien : ce genre de chose, je le regarde volontiers, il y a beaucoup d’utile là-dedans, et un peu de tapage fait partie du métier.

Mais soyons honnêtes.

• Avec cette astuce, l’IA ne fait plus d’erreurs
• Voilà comment forcer Claude à toujours dire la vérité
• Seuls 0,000000001 % des gens utilisent ce hack de voyant

Comment peuvent-ils affirmer cela, alors que c’est moi, et moi seul, qui détiens la solution pour gérer les erreurs de l’IA. Et pour moi personnellement, je l’ai effectivement. Pas comme la loi unique qui vaut pour tout, l’astuce unique qui marche toujours. Parce que celle-là n’existe pas. Ce n’est pas que Google, OpenAI et Anthropic l’auraient simplement implémentée n’importe comment. Et personne n’y arrive avec un hack ou un truc. Les erreurs de l’IA sont tout simplement, fondamentalement inévitables. Cela vaut pour nos semblables et pour toutes les autres intelligences qui nous entourent : animaux, IA et autres extraterrestres.

Si les éviter est impossible, alors autant les gérer au mieux. Et là, il existe des principes et des méthodes à la hauteur du cœur du problème. Plus à la hauteur, en tout cas, que n’importe quel miracle en un clic, qui fonctionne aussi bien que tout autre mouvement perpétuel. Je ne veux aucun mal au collègue, qui fait des vidéos plutôt bonnes et qui marchent bien, mais il propose un médicament sans expliquer la maladie. Le problème : il fait même effet, ce qui ne le rend pas inoffensif pour autant. Il rend dépendant, parce qu’il laisse le consommateur dans l’ignorance. La notice manque totalement.

La promesse que quelque chose aide infailliblement et toujours contre toutes les erreurs, c’est du charlatanisme des temps modernes.

Mais surtout, elle berce d’une fausse sécurité, précisément parce qu’elle fonctionne vraiment, qu’elle sonne logique et qu’elle contient un énorme fond de vérité.

Je l’explique avec un exemple concret. Ledit youtubeur mise tout sur un système à base de skills qui fait repasser la réponse de Claude dans le hachoir de 10 — en toutes lettres, dix — agents. Un agent repense la question à zéro, un autre l’essaie dans un contexte différent. Un joue l’avocat du diable. Un autre encore vérifie ou falsifie les affirmations. Un nie la question et demande le contraire, et d’autres manœuvres encore. Et une fois les 10 agents passés, la réponse est exempte d’erreurs. C’est du moins ce qui est affirmé.

Mais le contraire de bien, c’est justement bien intentionné. Et les 10 agents sont, pris isolément, justes et ont leur juste place dans la lutte contre les erreurs de l’IA. On peut et on doit même les combiner. Mais tout jeter dans un mixeur, mélanger vigoureusement et vendre cela comme la solution contre les erreurs, c’est malhonnête — et, considéré en soi, ironiquement une erreur systématique.

Voici pourquoi je suis contre ce genre de solution tout-en-un.

1. Ce n’est pas économique. Je ne suis pas partisan d’insister sur l’économie de tokens. Non pas que j’aime jeter l’argent par les fenêtres, mais l’économie doit venir après. Quand on apprend à conduire — où tout converge : code de la route, gestes inhabituels, performance situationnelle et réactive maximale — il n’est pas utile d’intégrer dès les premières heures de pratique l’économie de carburant et d’en oublier le clignotant ou le contrôle de l’angle mort. Ça pourra être un sujet plus tard, une fois qu’on sait conduire. C’est donc vraiment mon argument le plus faible contre le terminator d’erreurs à 10 agents. Mais lâcher 10 agents sur le moindre petit problème de rien du tout, c’est franchement exagéré.
2. Cela berce d’une fausse sécurité. En donnant l’impression d’être la solution simple et infaillible — ce qu’elle n’est justement pas ! — elle conduit à négliger le devoir de diligence et la vérification du résultat. Surcompensation du risque. Le système global se retrouve alors, le cas échéant, à un niveau de risque encore plus élevé, parce que la dernière instance de contrôle est purement et simplement omise ou se révèle trop chétive.
3. C’est faux. L’argument décisif et incontestable qui clôt le débat. Cela ne peut absolument pas éviter toutes les erreurs. Impossible. Toutes, certainement pas, et de cette manière trois fois moins. Parce que les agents sont corrélés, donc pas indépendants — ils sont de la même facture. Dix articles du même journaliste d’investigation dans différents médias ne rendent pas son histoire plus vraie non plus. Se contrôler soi-même vaut mieux que ne pas contrôler du tout, mais ce n’est certainement pas — au sens d’une véritable garantie scientifique — un système exempt d’erreurs. Et c’est là le vrai grand problème que j’ai. Cela systématise cette erreur et vend le résultat comme exempt d’erreurs. Tromperie sur la marchandise est encore le mot le plus doux qui me vienne.

Mais assez râlé sur ce que les autres ne font pas parfaitement. Il s’agit en fait d’obtenir un système global aussi exempt d’erreurs que possible, puisque le LLM seul n’y parvient pas. Un système dans lequel l’IA apporte sa précieuse contribution.

Et c’est quoi donc, mon si merveilleux système qui améliore tout. Pourquoi ma méthode vaut-elle davantage, et où et comment peut-on le vérifier soi-même, monsieur Je-sais-tout. Monsieur Grosse-Tête, à vous l’honneur.

Volontiers.

Étape 1 : compréhension de fond Je l’ai, je l’espère, construite dans mon dernier post. Lisez-le si ce n’est pas déjà fait, ou croyez-le simplement sur parole. Un quelque chose qui apprend — humain, animal ou machine — doit commettre des erreurs, sinon il serait incapable d’apprendre. Donc éliminer les erreurs complètement, pour toujours et partout, est une impasse. Point, c’est réglé.

Étape 2 : trouver des analogies L’IA sait apprendre et commet des erreurs. Mais avec des êtres humains capables d’apprendre et sujets à l’erreur, nous nous débrouillons déjà très bien. Nous nous sommes entraînés et optimisés sur nous-mêmes assez longtemps.

Juste un petit extrait des flèches que nous avons dans notre carquois contre les erreurs. Toutes réelles et concrètement en usage. Et il y en a bien d’autres :

[Ce paragraphe est généré par IA — début]

Poka-yoke, canard en plastique, homme mort, principe des quatre yeux, canary, shisa kanko, fromage suisse, pre-flight check, cordon Andon, smoke test, red team, liaison de forme, checklist, fail fast, read-back, interlock, dry run, kill switch, contrôle de plausibilité, pair programming, sterile cockpit, watchdog, règle de la nuit qui porte conseil, chiffre de contrôle, avocat du diable, rollback, point-and-call, commande à deux mains, pre-mortem, échantillonnage, jidoka, contreseing, chaos engineering, calcul d’ordre de grandeur, buddy system, forcing function, arrêté de caisse, guardrails, répétition générale, two-man rule, somme des chiffres, marge de sécurité, heartbeat, test de régression, ceinture et bretelles, dual control, sanity check, 5-why, stage-gate, calcul à rebours, circuit breaker, cooling-off, crew resource management, sauvegarde, fishbone, tripwire, test A/B, redondance, checksum, AMDEC, signalement des presque-accidents, safe defaults, réconciliation, blameless postmortem, détection de dérive, sign-off, défense en profondeur, culture du speak-up, graceful degradation, just culture, feature flag, contrôle visuel, fail safe, débriefing, undo, inventaire, alarme de seuil, contrôle technique

[Ce paragraphe est généré par IA — fin]

Étape 3 : simplifier et transposer Prenons ce que nous, humains, avons élaboré comme arsenal contre les erreurs et transposons-le à l’IA, en regardant particulièrement les quelques spécificités de l’IA qui ne sont pas typiquement humaines. Nous n’avons pas besoin de passer chaque procédure au crible de son aptitude à l’IA. Mais les principes de fond derrière la longue liste se ramènent à quelques-uns — le long de trois questions :

• Comment empêcher les erreurs ?
  • Rendre l’erreur impossible (poka-yoke) : là où c’est possible, le levier le plus puissant bien sûr — ne pas intercepter l’erreur, mais l’exclure par construction. La prise qui ne rentre que dans un sens.
  • Simplification : si ça peut être plus simple, fais-le plus simple. Chaque pièce superflue est une source d’erreur supplémentaire — standards et automatisation font le ménage.
• Comment détecter les erreurs ?
  • Redondance : poser la même question dans des contextes indépendants. Si plusieurs voies indépendantes font la même erreur, elle est improbable ; si elles en font de différentes, elle saute aux yeux.
  • Vérification : intégrer la vérifiabilité dès le départ, ne pas l’espérer après coup. Ce qui ne se vérifie pas ne se corrige pas non plus.
  • Échouer tôt et petit : petits pas, retour rapide. La même erreur est une correction après une heure et une catastrophe après trois mois.
  • Compétence : l’humain garde la responsabilité — et avec elle la capacité de reconnaître les erreurs. Celui qui ne fait plus que parapher désapprend à vérifier ; la lassitude du contrôle frappe experts et profanes.
• Comment survivre aux erreurs, ou comment les gérer ?
  • Limitation des dégâts : si l’erreur survient quand même : contenir l’effet et pouvoir revenir en arrière. L’isolement limite les dégâts dans l’espace, la réversibilité dans le temps — une erreur réversible est un moment d’apprentissage, une erreur irréversible est un dégât.
  • Culture de l’erreur : traiter les erreurs ouvertement au lieu de les sanctionner. Celui qui cache les erreurs n’empêche pas l’erreur, seulement l’apprentissage qui en découle.

Et une partie de tout cela s’applique directement et sans peine au prompting quotidien. Simple, concret, efficace.

Simplification — découpe l’éléphant en tranches L’IA est généraliste et sait tout faire assez bien, mais pas tout bien à la fois. La solution est toute proche. Car l’IA est aussi spécialiste, il suffit de lui dire de l’être — et soudain on a une équipe de spécialistes qu’il « ne reste plus qu’à » orchestrer. Donc au lieu de tout entasser dans un prompt géant, ficeler de petits paquets optimisables. Un peu de « et si je faisais faire ça par toute une entreprise ? ». Expliqué avec l’exemple concret de mon processus éditorial. J’écris et publie plus ou moins régulièrement cette newsletter Substack que tu es en train de lire. Et oui, j’écris tout moi-même, ce sont mes mots et mes phrases. Mais l’IA m’aide, bien sûr. D’abord dans la recherche. J’ai une idée ou une pensée que je veux développer. Je rassemble de l’information et la regroupe. Parfois au point de construire un site web entier — un effet secondaire du processus de newsletter. Ensuite j’écris au fil de la plume. Comme ça, avec une quantité effroyable de fautes de frappe, de vraies lacunes et des inversions. Les simples coquilles, c’est mon cleaner IA qui s’en charge — uniquement de vraies erreurs, et c’est le seul autorisé à modifier directement le texte. C’est seulement là que j’ai le courage de le confier à mon coach IA. Il n’ajuste rien, mais commente. L’histoire tient-elle ? Est-ce cohérent dans l’ensemble ? Qu’est-ce qui est trop long ou trop embrouillé ? Où se rompt le fil rouge qui n’a jamais existé ? Qu’est-ce qui est particulièrement bon et qu’est-ce qui est plutôt mauvais. Il donne des conseils que je peux intégrer, mais sans obligation. Cela peut prendre quelques itérations, mais c’est assurément utile pour mettre de l’ordre dans ses propres pensées. Et quand j’en ai fini, ça part chez le correcteur IA. Les nouvelles coquilles y sont accessoires, mais il vérifie la lisibilité, la correction, le style, le ton, la structure, etc. Des conseils là aussi, mais plutôt une liste à traiter, parce que ce sont de vraies erreurs ou de vrais accrocs. Et ensuite ça part chez le closer IA. Celui-là le rend prêt pour Substack. Mécaniquement. Et en relisant ça maintenant, je me dis : cool. Ça doit tourner comme sur des roulettes et ne produire que des newsletters géniales et parfaites. Ce n’est pas le cas. Mais ce qui reste d’erreurs, de confusions et d’affirmations fausses dans le résultat final, c’est du style.

Simplification — fais-le toujours pareil, là où c’est possible Les standards aident. Dumb it down. Ça se transpose très bien à l’équipe aussi. Une erreur que tout le monde fait vaut mieux, parce qu’elle se repère plus facilement et se résout plus durablement. Mais surtout, le standard empêche les erreurs dues à la négligence ou à l’inattention. Là où c’est possible, la qualité ne doit pas dépendre de la personne ou de l’IA qui exécute. Utilise un schéma, utilise une méthode. Définis des standards de qualité. Dans la sortie ou dans le prompt. Mon standard, c’est un prompt pattern et une méthode de génération de prompts.

Redondance Refaire la même chose, mais autrement et surtout ailleurs. Trois fenêtres de chat en parallèle sont presque devenues un standard chez moi. Dans l’une, je prépare et je pose le cadre. Je mets les données au propre, je recherche, je clarifie et j’affine ce que je veux vraiment. Dans la deuxième, je refais la même chose avec une autre IA, ou je démonte à nouveau les résultats du chat 1 — en partant du principe que tout y est faux : avocat du diable, red team, steelman. Si nécessaire, parce que c’est trop long ou trop complexe, je fais déterminer, analyser et évaluer dans la troisième fenêtre l’écart entre les deux chats.

Vérification Idéalement, on ne confie à l’IA que des tâches qu’on peut aussi vérifier facilement. Tester et contrôler devrait donc coûter moins cher que de le faire soi-même dès le départ. Donc recalculer les résultats. Sonder les références citées. Le programme démarre-t-il sans erreur. La fonction centrale fonctionne-t-elle.

Compétence Ceux qui ont bien suivi auront remarqué que mes exemples de redondance et de vérification sont la version ennuyeuse et prétendument moins bonne de notre magie à 10 agents en un clic de tout à l’heure. La différence — au milieu, c’est moi qui reste la compétence. Je peux contrôler et optimiser chaque étape. Je peux aussi automatiser au cas par cas, autant que je veux. Et je peux utiliser des données différentes ou des LLM différents. Faire la vérification de manière holistique ou par échantillonnage. Le point décisif, c’est que j’assume toutes les sorties correctes et bonnes de l’IA, mais aussi toutes ses erreurs. C’est pourquoi je pilote le comment, le où et le combien. Et cela me maintient au passage compétent et armé pour la prochaine tâche que je voudrai optimiser avec l’IA.

La transposition du poka-yoke, de la limitation des dégâts et de la culture de l’erreur est moins directe et moins immédiate, même si ce sont de gros leviers. Peut-être trouveras-tu une astuce poka-yoke ingénieuse, ou réussiras-tu à instaurer une culture de l’erreur pour l’IA. Tes idées m’intéresseraient beaucoup.

Il me reste toutefois quelques parades concrètes et spécifiques à l’IA. En connaissant donc les points faibles de l’IA :

• Un chat peut être cramé. L’IA hallucine, tourne en rond, se contredit, alors qu’elle était encore tout à fait raisonnable au début. Cas clair : context distraction … ne pas continuer en espérant que ça s’arrange ou qu’on arrivera encore à convaincre l’IA. Sauver ce qui peut l’être — se faire donner un résumé du chat et repartir avec, frais et neuf, dans une fenêtre inentamée. Et le meilleur : ça marche aussi de façon proactive. Au-delà d’une certaine durée ou longueur de chat, se faire faire un résumé et continuer dans le suivant. Ça épargne de la frustration.
• Rester sur un sujet. J’aime bien digresser, et une pensée en amène parfois une autre dans un contexte complètement différent. Alors pourquoi ne pas simplement continuer à chatter. L’IA répond sagement et suit le mouvement, après tout. C’est un piège trompeur. Donc : nouvelle pensée ou nouveau sujet signifie nouvelle fenêtre.
• Un peu de discipline radio. D’un côté, je défends beaucoup l’idée de ne pas adapter sa langue et sa façon de penser à l’IA, et de donner plus d’informations qu’on ne le juge soi-même nécessaire. Et d’attendre de l’IA, dès le départ, plus que d’un simple calculateur. Mais il ne faut pas non plus se mettre à radoter.

L’objectif n’est pas la machine sans erreurs. L’objectif est un système qui fait les bonnes erreurs, en tire des leçons et empêche les mauvaises de se propager et de devenir des erreurs systématiques.

Une note en mon nom propre : J’écris mes posts moi-même, avec les mots qui sortent de ma tête. L’IA m’aide pour la recherche, comme conseillère et pour la correction technique. Mais le post vient de moi, de moi en tant qu’humain. Les images sont toutes générées par IA, et mon site web, je le crée et l’entretiens avec Claude — en grande partie sur le contenu aussi. Dans ma newsletter, dans le cadre de la campagne de transparence, je signalerai clairement comme sections générées par IA les quelques passages de texte (surtout des énumérations ou des tirades, pour la blague) — rétroactivement aussi. Autrement dit : ce qui n’est pas signalé vient de moi. Je suis comme ça. Juré.

Totalement sans erreurs, ce n’est pas possible. Même pas avec de grands systèmes minimisant les erreurs. Ça ne se veut pas sarcastique, mais si une telle chose existait, nous l’aurions déployée depuis longtemps — contre les crashs aériens, les compresses oubliées en chirurgie abdominale, la catastrophe nucléaire. Et non, on ne s’en débarrasse pas en invoquant le facteur humain, et cela ne disparaîtra pas non plus par principe avec le facteur IA. Les erreurs font partie du jeu. Plus rares, moins dramatiques dans leurs effets, maîtrisables quand elles surviennent — voilà les vrais objectifs. Et ils sont atteignables.

Viser zéro erreur, on peut, bien sûr. Ça se vend aussi mieux que « nous ne visons plus qu’un seul crash aérien catastrophique par an ». Tout le monde veut zéro, pour toujours. Mais vouloir ne suffit pas. Nous nous sommes déjà énormément améliorés : de jusqu’à 100 crashs par an à une poignée, et cela avec un trafic massivement accru. Peut-être arriverons-nous à un crash tous les deux ans. Tous les dix. Il ne s’agit pas des chiffres — et pourtant si. Car passé un certain point, l’amélioration suivante n’est plus raisonnablement — au sens économique — réalisable.

Et maintenant la partie inconfortable. Je ne veux pas m’en prendre aux compagnies aériennes. Mais toutes ces précautions de sécurité n’existent pas parce que le conseil d’administration ne compte que des philanthropes moralement équilibrés. Une motivation principale : aucun décideur ne veut voir un reportage au journal de 20 heures montrant le logo de sa propre entreprise sur la queue d’une épave en flammes. Cela a des effets très directs sur le bilan annuel et sur le prochain bonus. Bien sûr, protéger des vies, c’est bien et ça se vend très bien. Gagnant-gagnant. Mais la sécurité aérienne n’est ni un hasard ni une vertu — c’est aussi une propriété du système médiatique. Un crash tue beaucoup de gens d’un coup, en un seul endroit, avec un logo sur la queue. C’est une semaine de véritable anti-publicité pour l’entreprise.

La preuve la plus nette vole d’ailleurs juste à côté des compagnies : l’aviation générale. Même aérodynamique et même physique, même atmosphère, même pays, même autorité de tutelle, en partie les mêmes aérodromes. Mais par heure de vol, l’aviation privée est bien des fois plus dangereuse que le vol de ligne — en termes de risque, plus proche de la moto que d’un A320. Et cela ne s’est amélioré que marginalement en 40 ans, du moins comparé à l’aviation commerciale, qui est devenue constamment et rapidement plus sûre. À quoi cela tient-il ? Pas à un manque de savoir. Les méthodes — discipline des checklists, formations obligatoires, analyse systématique des erreurs — sont connues et seraient transposables. Elles ne sont simplement pas appliquées. Car un Cessna écrasé avec deux morts, c’est une brève régionale, pas un sujet national. Pas de logo sur la queue, pas de groupe qui tremble, pas de pression. Tout pareil — sauf la visibilité. Et le résultat diffère de deux ordres de grandeur.

Ou prends la médecine. Les erreurs de traitement évitables dans les hôpitaux allemands coûtent — selon les estimations, et les chiffres sont contestés — chaque année un multiple de tous les morts de la route. Pour chaque crash aérien, il y a une enquête indépendante obligatoire. Pour la compresse oubliée, il y a : rien de comparable. Même société humaine, même valeur d’une vie humaine, régime de visibilité complètement différent. Devine où meurent le plus de gens. Et avec une probabilité frôlant celle de la sécurité aérienne, on pourrait obtenir ici des améliorations qui sauvent des vies.

Les erreurs font partie du jeu. Les éviter est important et juste. Vouloir les éradiquer ou les exclure catégoriquement comme un mantra est utopique — et celui qui te promet zéro te vend du marketing, pas un système. C’est la vérité scientifique. Mais derrière les erreurs se cache aussi une économie humaine ou inhumaine. Et dans le doute, celle-là ne s’arrête même pas devant la vie.

Lors de mes recherches, je suis tombé amoureux du principe qui consiste à punir la dissimulation des erreurs, et non le fait d’en commettre. Ça sonne si bien que ça pourrait marcher. C’est en tout cas ce qui semble être le bon état d’esprit, et chez les compagnies aériennes, c’est réellement vécu.