L'IA è maestra di ogni classe di errore

Accettare l’errore in sé come inevitabile. Davvero, nel profondo. Fatto! E poi arriva un giovanotto iperattivo e superintelligente che spinge a tavoletta su YouTube o ti scarica addosso un chilo di Insta, offrendoti il rimedio miracoloso universale e tuttofare contro l’inguaribile erroraggine dell’IA. Questo non dovremmo accettarlo così, senza fiatare.

Non fraintendetemi: roba del genere la guardo volentieri, c’è dentro parecchio di utile, e un po’ di spettacolo fa parte del mestiere.

Ma diciamocelo.

• Con questo trucco l’IA non sbaglia più
• Così costringi Claude a dire sempre la verità
• Solo lo 0,000000001% delle persone usa questo hack da veggente

Come possono sostenerlo, quando la soluzione per gestire gli errori dell’IA ce l’ho io, e solo io. E in effetti, per me personalmente, ce l’ho davvero. Non come l’unica legge valida per tutto, l’unico stratagemma che funziona sempre. Perché quello non esiste. Non è che Google, OpenAI e Anthropic l’abbiano semplicemente implementato in modo sciatto. E nessuno ci riesce con un hack o un trucchetto. Gli errori dell’IA sono semplicemente, fondamentalmente inevitabili. Vale per i nostri simili e per tutte le altre intelligenze con cui conviviamo: animali, IA e alieni vari.

Se evitarli non si può, allora tanto vale gestirli al meglio. E ci sono principi e metodi all’altezza del nocciolo del problema. Più all’altezza, quantomeno, di qualsiasi miracolo in un clic, che funziona esattamente come ogni altro moto perpetuo. Non voglio male al collega, che fa video piuttosto buoni e di successo, ma offre una medicina senza spiegare la malattia. Il problema è che l’effetto ce l’ha davvero, il che non la rende innocua. Crea dipendenza, perché lascia il consumatore all’oscuro. Il foglietto illustrativo manca del tutto.

La promessa che qualcosa aiuti infallibilmente e sempre contro tutti gli errori è ciarlataneria dei giorni nostri.

Ma soprattutto ti culla in una falsa sicurezza, proprio perché funziona davvero e suona logica e contiene un enorme nocciolo di verità.

Lo spiego con un esempio concreto. Il suddetto youtuber punta tutto su un sistema basato su skill che fa passare la risposta di Claude nel tritacarne di 10 — in lettere, dieci — agenti. Un agente ripensa la domanda da zero, uno la prova in un altro contesto. Uno fa l’avvocato del diavolo. Un altro ancora verifica o falsifica le affermazioni. Uno nega la domanda e chiede il contrario, e via con altre mosse. E quando i 10 agenti hanno finito, la risposta è priva di errori. Questa, almeno, è l’affermazione.

Ma il contrario di buono è proprio con le migliori intenzioni. E tutti e 10 gli agenti, presi singolarmente, sono corretti e hanno il loro giusto posto nella lotta agli errori dell’IA. Si possono e si devono perfino combinare. Ma buttare tutto in un frullatore, dare una bella mescolata e vendere questo come la soluzione contro gli errori è scorretto — e, guardandolo in sé, ironicamente un errore sistematico.

Ecco perché sono contrario a questo tipo di soluzione tutto-in-uno.

1. Non è economico. Non amo insistere sul risparmio di token. Non perché mi piaccia buttare i soldi dalla finestra, ma il risparmio deve venire dopo. Quando impari a guidare — dove converge tutto: codice della strada, movimenti inconsueti, prestazioni situazionali e reattive al massimo — non è utile inserire già nelle prime ore di pratica il risparmio di carburante e dimenticarsi per questo la freccia o il controllo dello specchietto. Quello potrà essere un tema più avanti, quando sai guidare. Quindi è davvero il mio argomento più debole contro il terminator degli errori a 10 agenti. Ma scatenare 10 agenti su ogni problemuccio da niente è davvero esagerato.
2. Ti culla in una falsa sicurezza. Dando l’impressione di essere la soluzione semplice e infallibile — che semplicemente non è! — porta a trascurare la diligenza dovuta e la verifica del risultato. Sovracompensazione del rischio. Così il sistema complessivo finisce, in certi casi, su un livello di rischio persino più alto, perché l’ultima istanza di controllo viene semplicemente omessa o risulta troppo gracile.
3. È sbagliato. L’argomento decisivo e incontestabile che chiude il discorso. Non può proprio evitare tutti gli errori. Non si può. Tutti di sicuro no, e in questo modo tre volte no. Perché gli agenti sono correlati, cioè non indipendenti: sono della stessa fattura. Dieci articoli dello stesso giornalista investigativo su testate diverse non rendono la sua storia più vera. Controllarsi da soli è meglio che non controllarsi affatto, ma di certo — cioè con una vera garanzia scientifica — non è un sistema privo di errori. Ed è questo il vero grande problema che ho. Sistematizza questo errore e vende il risultato come privo di errori. Etichetta ingannevole è la cosa più blanda che mi viene in mente.

Ma basta lamentarsi di ciò che gli altri non fanno alla perfezione. Il punto è ottenere un sistema complessivo il più possibile privo di errori, visto che il singolo LLM non ci riesce. Un sistema in cui l’IA porta il suo prezioso contributo.

E allora qual è questo mio sistema così straordinario che migliora tutto. Perché il mio metodo vale di più, e dove e come lo si può verificare di persona, signor Sapientone. Signor Saccente, tocca a lei.

Volentieri.

Passo 1: comprensione di fondo Spero di averla costruita nel mio ultimo post. Leggetelo, se non l’avete già fatto, oppure credeteci sulla parola. Un qualcosa che apprende — uomo, animale o macchina — deve commettere errori, altrimenti sarebbe incapace di apprendere. Quindi eliminare gli errori del tutto, per sempre e ovunque, è un vicolo cieco. Punto e a capo.

Passo 2: trovare analogie L’IA sa apprendere e commette errori. Ma con esseri umani capaci di apprendere e inclini all’errore ce la caviamo già benissimo. Ci siamo allenati e ottimizzati su noi stessi abbastanza a lungo.

Solo un piccolo estratto delle frecce che abbiamo nella faretra nella lotta agli errori. Tutte reali e concretamente in uso. E ce ne sono molte altre:

[Questo paragrafo è generato dall’IA — inizio]

Poka-yoke, rubber duck, uomo morto, principio dei quattro occhi, canary, shisa kanko, formaggio svizzero, pre-flight check, cordone Andon, smoke test, red team, accoppiamento di forma, checklist, fail fast, read-back, interlock, dry run, kill switch, controllo di plausibilità, pair programming, sterile cockpit, watchdog, regola della notte sopra, cifra di controllo, avvocato del diavolo, rollback, point-and-call, comando a due mani, pre-mortem, campionamento, jidoka, controfirma, chaos engineering, calcolo a spanne, buddy system, forcing function, chiusura di cassa, guardrail, prova generale, two-man rule, somma delle cifre, margine di sicurezza, heartbeat, test di regressione, cintura e bretelle, dual control, sanity check, 5-why, stage-gate, calcolo a ritroso, circuit breaker, cooling-off, crew resource management, backup, fishbone, tripwire, test A/B, ridondanza, checksum, FMEA, segnalazione dei quasi-incidenti, safe defaults, riconciliazione, blameless postmortem, rilevamento della deriva, sign-off, difesa in profondità, cultura dello speak-up, graceful degradation, just culture, feature flag, ispezione visiva, fail safe, debriefing, undo, inventario, allarme di soglia, revisione tecnica

[Questo paragrafo è generato dall’IA — fine]

Passo 3: semplificare e trasferire Prendiamo ciò che noi umani abbiamo elaborato come armamentario contro gli errori e trasferiamolo all’IA, guardando con particolare attenzione alle poche peculiarità dell’IA che non sono tipicamente umane. Non dobbiamo verificare e adattare ogni singola procedura all’idoneità per l’IA. Ma i principi di fondo dietro la lunga lista si possono ridurre a pochi — lungo tre domande:

• Come prevengo gli errori?
  • Rendere l’errore impossibile (poka-yoke): dove possibile, naturalmente la leva più forte — non intercettare l’errore, ma escluderlo per costruzione. La spina che entra in un solo verso.
  • Semplificazione: se si può fare più semplice, fallo più semplice. Ogni pezzo superfluo è una fonte di errore in più — standard e automazione fanno pulizia.
• Come riconosco gli errori?
  • Ridondanza: porre la stessa domanda in contesti indipendenti. Se più vie indipendenti fanno lo stesso errore, è improbabile; se ne fanno di diversi, l’errore salta all’occhio.
  • Verifica: costruire la verificabilità fin dall’inizio, non sperarci dopo. Ciò che non si può verificare non si può nemmeno correggere.
  • Fallire presto e in piccolo: piccoli passi, feedback rapido. Lo stesso errore dopo un’ora è una correzione, dopo tre mesi una catastrofe.
  • Competenza: l’essere umano mantiene la responsabilità — e con essa la capacità di riconoscere gli errori. Chi si limita a firmare disimpara a verificare; la stanchezza da controllo colpisce esperti e profani allo stesso modo.
• Come sopravvivo agli errori, ovvero come li gestisco?
  • Limitazione del danno: se l’errore accade comunque: contenerne l’effetto e poterlo annullare. L’isolamento limita il danno nello spazio, la reversibilità nel tempo — un errore reversibile è un momento di apprendimento, uno irreversibile è un danno.
  • Cultura dell’errore: trattare gli errori apertamente invece di sanzionarli. Chi nasconde gli errori non impedisce l’errore, solo l’apprendimento che ne deriva.

E una parte di tutto ciò si può applicare direttamente e senza problemi nel prompting quotidiano. Semplice, concreto, efficace.

Semplificazione — affetta l’elefante L’IA è generalista e sa fare tutto abbastanza bene, ma non tutto bene in una volta. La soluzione è a portata di mano. Perché l’IA è anche specialista, basta dirle di esserlo — e all’improvviso hai una squadra di specialisti che devi “solo” orchestrare. Quindi invece di stipare tutto in un unico prompt gigantesco, confezionalo in piccoli pacchetti ottimizzabili. Un po’ di “e se lo facessi fare a un’azienda intera?”. Spiegato con l’esempio concreto del mio processo redazionale. Scrivo e pubblico più o meno regolarmente questa newsletter su Substack che stai leggendo. E sì, scrivo tutto da solo e sono parole e frasi mie. Ma naturalmente l’IA mi aiuta. Da un lato nella ricerca. Ho un’idea o un pensiero che voglio sviluppare. Raccolgo informazioni e le raggruppo. A volte al punto da costruirci un sito web — un effetto collaterale del processo della newsletter. Poi butto giù il testo. Così com’è, con una quantità spaventosa di errori di battitura, vere lacune e inversioni. I meri refusi li sistema il mio cleaner IA — solo errori veri, ed è l’unico autorizzato a modificare direttamente il testo. Solo allora trovo il coraggio di darlo al mio coach IA. Non modifica nulla, ma commenta. La storia regge? Ha senso nel complesso? Cosa è troppo lungo o troppo contorto? Dove si spezza il filo conduttore mai esistito? Cosa è particolarmente buono e cosa piuttosto scadente. Dà consigli che posso recepire, ma non devo. Può richiedere qualche iterazione, ma aiuta sicuramente a mettere ordine nei propri pensieri. E quando ho finito, si passa al revisore IA. I nuovi refusi sono un dettaglio secondario; lui controlla leggibilità, correttezza, stile, tono, struttura e così via. Anche qui consigli, ma più una lista da smaltire, perché si tratta di errori o inciampi veri. E poi si va dal closer IA. Quello lo rende pronto per Substack. Meccanicamente. E rileggendolo adesso penso: forte. Deve filare liscio come l’olio e sfornare solo newsletter geniali e perfette. Non è così. Ma ciò che resta di errori, confusioni e affermazioni sbagliate nel risultato finale, quello è stile.

Semplificazione — fallo sempre allo stesso modo, dove puoi Gli standard aiutano. Dumb it down. Si trasferisce benissimo anche alla squadra. Un errore che fanno tutti è meglio, perché si riconosce più facilmente e si risolve in modo più duraturo. Ma soprattutto lo standard previene gli errori dovuti a trascuratezza o disattenzione. Dove possibile, la qualità non deve dipendere dalla persona o dall’IA che esegue. Usa uno schema, usa un metodo. Definisci standard di qualità. Nell’output o nel prompt. Il mio standard è un prompt pattern e un metodo di generazione dei prompt.

Ridondanza Rifare la stessa cosa, ma in modo diverso e soprattutto altrove. Tre finestre di chat in parallelo sono ormai quasi lo standard per me. In una preparo e imposto. Metto a posto i dati, faccio ricerca, chiarisco e affino ciò che voglio davvero. Nella seconda rifaccio lo stesso con un’altra IA, oppure smonto di nuovo i risultati della chat 1 — partendo dal presupposto che sia tutto sbagliato: avvocato del diavolo, red team, steelman. Se serve, perché è troppo lungo o complesso, nella terza finestra faccio determinare, analizzare e valutare il delta tra le due chat.

Verifica Idealmente si affidano all’IA solo compiti che si possono anche verificare facilmente. Quindi testare e controllare dovrebbe costare meno che farlo da sé fin dall’inizio. Perciò ricalcolare i risultati. Campionare le fonti citate. Il programma parte senza errori. La funzione centrale funziona.

Competenza Chi ha seguito con attenzione avrà notato che i miei esempi di ridondanza e verifica sono la versione noiosa e apparentemente peggiore della nostra magia a 10 agenti in un clic di prima. La differenza: in mezzo resto io come competenza. Posso controllare e ottimizzare ogni passaggio. Posso anche automatizzare caso per caso, quanto voglio. E posso usare dati diversi o LLM diversi. Fare la verifica in modo olistico o a campione. Il punto decisivo è che rispondo di tutti gli output corretti e buoni dell’IA, ma anche di tutti i suoi errori. Per questo governo io il come, il dove e il quanto. E questo, tra l’altro, mi mantiene competente e pronto per il prossimo compito che voglio ottimizzare con l’IA.

Trasferire poka-yoke, limitazione del danno e cultura dell’errore è meno diretto e immediato, anche se rappresentano una leva enorme. Magari trovi tu un astuto trucco poka-yoke, o riesci a instaurare una cultura dell’errore per l’IA. Le tue idee mi interesserebbero molto.

Qualche antidoto concreto e specifico per l’IA però ce l’ho ancora. Conoscendo cioè i punti deboli dell’IA:

• Una chat può essere bruciata. L’IA allucina, gira in tondo, si contraddice, benché all’inizio fosse del tutto ragionevole. Caso chiaro: context distraction … non andare avanti sperando che migliori o di riuscire ancora a convincere l’IA. Salvare il salvabile — farsi dare un riassunto della chat e ripartire da lì, freschi, in una finestra nuova. E il bello è che funziona anche in modo proattivo. Oltre una certa durata o lunghezza della chat, farsi fare un riassunto e proseguire nella successiva. Risparmia frustrazione.
• Restare su un tema. Io divago volentieri, e un pensiero a volte ne porta un altro in un contesto completamente diverso. E allora perché non continuare a chattare. In fondo l’IA risponde diligente e sta al gioco. È una trappola insidiosa. Quindi: pensiero nuovo o tema nuovo significa finestra nuova.
• Un po’ di disciplina radio. Da un lato sono un gran sostenitore del non adattare la propria lingua e il proprio modo di pensare all’IA, e del dare più informazioni di quante se ne ritengano necessarie. E di aspettarsi dall’IA fin da subito più di quanto ci si aspetti da un calcolatore. Ma non bisogna nemmeno mettersi a blaterare.

L’obiettivo non è la macchina priva di errori. L’obiettivo è un sistema che commetta gli errori giusti, impari da essi e impedisca a quelli sbagliati di propagarsi e diventare errori sistematici.

Una nota personale: Scrivo i miei post da solo, con le parole che ho in testa. L’IA mi aiuta nella ricerca, come consulente e nella correzione tecnica. Ma il post viene da me, da me come essere umano. Le immagini sono tutte generate dall’IA, e il mio sito lo creo e lo curo con Claude — in gran parte anche nei contenuti. Nella mia newsletter, nell’ambito della campagna di trasparenza, contrassegnerò chiaramente come sezioni generate dall’IA i pochi passaggi di testo (perlopiù elenchi o tirate, per amore della battuta) — anche retroattivamente. Vuol dire: ciò che non è contrassegnato è mio. Sono fatto così. Giuro.

Del tutto privi di errori non si può. Nemmeno con grandi sistemi che minimizzano gli errori. Non voglio sembrare sarcastico, ma se una cosa simile esistesse l’avremmo già adottata da un pezzo — contro i disastri aerei, le garze dimenticate nella chirurgia addominale, la catastrofe nucleare. E no, non si liquida invocando il fattore umano, e non sparirà per principio con il fattore IA. Gli errori fanno parte del gioco. Più rari, meno drastici negli effetti, controllabili quando accadono: questi sono gli obiettivi veri. E sono raggiungibili.

Puntare a zero errori si può, certo. Si vende anche meglio di “puntiamo a un solo disastro aereo catastrofico all’anno”. Tutti vogliono zero, per sempre. Ma volere non basta. Siamo già migliorati enormemente: da fino a 100 incidenti all’anno a una manciata, e questo con un traffico cresciuto in modo massiccio. Forse arriveremo a un incidente ogni due anni. Ogni dieci. Non è questione di numeri — e in fondo lo è. Perché oltre un certo punto il miglioramento successivo non è più sensatamente — in senso economico — realizzabile.

E adesso la parte scomoda. Non voglio fare una sfuriata contro le compagnie aeree. Ma tutte quelle precauzioni di sicurezza non esistono perché nel consiglio di amministrazione siedono solo filantropi moralmente equilibrati. Una motivazione principale: nessun decisore vuole vedere un servizio del telegiornale in prima serata che mostra il logo della propria azienda sulla coda di un relitto in fiamme. Questo ha effetti diretti sul bilancio annuale e sul prossimo bonus. Certo, proteggere le vite è un bene e si vende benissimo. Win-win. Ma la sicurezza dell’aviazione non è né un caso né una virtù: è anche una proprietà del sistema mediatico. Un incidente uccide molte persone in un colpo solo, in un unico luogo, con un logo sulla coda. È una settimana di autentica pubblicità negativa per l’azienda.

La prova più pulita, tra l’altro, vola proprio accanto alle compagnie: l’aviazione generale. Stessa aerodinamica e fisica, stessa atmosfera, stesso paese, stessa autorità di vigilanza, in parte gli stessi aeroporti. Ma per ora di volo l’aviazione privata è molte volte più pericolosa del volo di linea — in termini di rischio più vicina alla moto che a un A320. E questo è migliorato solo marginalmente in 40 anni, quantomeno rispetto all’aviazione commerciale, che è diventata costantemente e rapidamente più sicura. Da cosa dipende? Non dalla mancanza di conoscenze. I metodi — disciplina delle checklist, addestramenti obbligatori, analisi sistematica degli errori — sono noti e sarebbero trasferibili. Semplicemente non vengono applicati. Perché un Cessna precipitato con due morti è una notizia locale, non un caso nazionale. Nessun logo sulla coda, nessun gruppo che trema, nessuna pressione. Tutto uguale — tranne la visibilità. E il risultato differisce di due ordini di grandezza.

Oppure prendi la medicina. Gli errori di trattamento evitabili negli ospedali tedeschi costano — a seconda della stima, e i numeri sono contestati — ogni anno un multiplo di tutti i morti sulle strade. Per ogni disastro aereo c’è un’inchiesta indipendente obbligatoria. Per la garza dimenticata c’è: nulla di paragonabile. Stessa società umana, stesso valore di una vita umana, regime di visibilità completamente diverso. Indovina dove muoiono più persone. E con una probabilità che rasenta la sicurezza aerea, qui si potrebbero ottenere miglioramenti che salvano vite.

Gli errori fanno parte del gioco. Evitarli è importante e giusto. Volerli estirpare o escluderli categoricamente come un mantra è utopico — e chi ti promette zero ti sta vendendo marketing, non un sistema. Questa è la verità scientifica. Ma dietro gli errori c’è anche un’economia umana o disumana. E nel dubbio, quella non si ferma nemmeno davanti alla vita.

Durante la mia ricerca mi sono innamorato del principio di punire l’occultamento degli errori, e non il commetterli. Suona così bene che potrebbe funzionare. Quantomeno sembra essere la mentalità giusta, e nelle compagnie aeree la si vive davvero.