Che l'IA menta è il minore dei suoi 17 problemi.

Newsflash: l’IA mente e allucina. Con il fatto che mente ci si può convivere. Non mi disturba neanche l’allucinare — bensì che tutti facciano come se quelli fossero già tutti i problemi degli LLM. Ma sono diciassette!

La prassi consueta è ficcare tutto il tema in un breve disclaimer sotto ogni prodotto dell’IA, sul tenore di:

Attenzione! L’IA può commettere errori. Verifichi tutto altre 5–10 volte prima di prendere decisioni importanti sulla base di questi dati!

Ma non è un consiglio pratico su come gestire la cosa, e non rafforza nemmeno la fiducia nell’IA nel suo insieme. Tranquillizza un po’, certo, e mostra che l’IA non è poi così onnipotente. Ma il pallido retrogusto della diffidenza resta. Alla fine però è solo un copriti-le-spalle, un rapido scarico di responsabilità e lo spostamento dell’obbligo di verifica su di me.

È un po’ come se il cameriere che mi serve gentilmente i Kässpätzle mi augurasse buon appetito e si voltasse via sorridendo con l’avvertenza “Potrebbe esserci qualche scheggia di vetro nel formaggio. Mastichi con prudenza.”

Ok, le schegge di vetro nel cibo le trovo già più gravi di qualche fandonia, ma entrambi gli avvertimenti non mi aiutano davvero o mi lasciano solo con una decisione piuttosto stupida. Mi piacciono i Kässpätzle e mi piace l’IA – ma con questa consapevolezza, semplicemente, non riesco più a godermeli così tranquillamente.

Ma perché è così, in fondo? Perché mente, lo strumento più potente della storia dell’umanità? Domanda interessante, quindi maniche rimboccate e andiamo a vedere. Ma è una tana del coniglio?! Devo entrarci!

E in fretta diventa chiaro: l’IA non ci può fare niente se ogni tanto le piace prendere la verità un po’ alla leggera. È stata costruita così. Cioè non di proposito, ma è un effetto collaterale negativo del suo addestramento. Gli LLM imparano tramite feedback e ricompensa, e per raggiungere l’obiettivo – una conversazione – gli LLM vengono premiati per il rispondere e non per il tacere. E allora è come in un test a scelta multipla: meglio tirare a indovinare alla cieca o inventarsi qualcosa che non fare nulla. Con questa mentalità l’IA arriva all’obiettivo meglio e più in fretta. E così la fandonia fa parte del genoma dell’IA.

Con ciò il tema è archiviato e ho di nuovo imparato qualcosa. Ma un momento. Ci sono ancora altri problemi.

Già, c’era pur quella storia delle formule magiche infilate di nascosto nei libri di Harry Potter, che qualcuno ha rifilato all’IA come input. E lei poi si è affidata di più al fatto di conoscere già i libri di Harry Potter e tutte le formule magiche al loro interno – in termini tecnici si chiama Parametric Memory Bias – e non ha più letto così attentamente la nuova fonte manipolata. Le formule magiche false stavano proprio in mezzo al libro – ed è esattamente lì che l’IA guarda di meno. Bene all’inizio, benissimo alla fine, ma le informazioni che stanno più verso il centro di contesti lunghi vengono considerate di meno, scorse via e pesate meno. Trovare quell’unico dettaglio decisivo in una montagna di dati è comunque il suo punto debole. Aveva quindi semplicemente saltato a piè pari le formule magiche false. Del tutto comprensibile per un essere umano, ma appunto non per una macchina. È anche un po’ cattivo, però, e suona come una trappola costruita di proposito per fregare l’IA. Ma capita anche nella vita vera e con dati veri, ed è per questo che sono problemi veri.

E con ciò purtroppo non siamo ancora arrivati alla fine. In tutto, un buon LLM oggigiorno ha diciassette di queste debolezze croniche, incurabili. Per capirle meglio, una volta ho spiegato, cartografato e categorizzato tutte e diciassette le patologie degli LLM in un atlante.

E non basta: i problemi non se ne stanno solo isolati uno accanto all’altro, ad aspettare un trattamento speciale individuale. Sono ben saldamente impastati dentro, involontariamente intrecciati l’uno con l’altro e in reciproca interazione.

Beh, tanto male ora non può più essere. Se i problemi si sanno nominare, si possono anche risolvere (o gestire). Soprattutto, si potrebbe scrivere un disclaimer migliore:

Attenzione: l’IA può allucinare, dimenticare, dire oggi così e domani cosà, partire forte e calare di brutto, suonare brillante e non dire niente, formulare una risposta sbagliata più bella di qualsiasi risposta giusta, dire “ma certo!” e poi fare il contrario… Può darti ragione finché non dubiti di te stesso, ritenere geniale ogni tua trovata, accogliere con gratitudine la tua correzione e ignorarla all’istante, avere ogni opinione che vuoi sentire, conoscere cinque controargomenti e non portarne nessuno perché hai chiesto gentilmente, preferire sbagliare con eleganza che concordare in modo scomodo… Può impiegare tre paragrafi per non dire “non lo so”, iniziare un elenco con “in conclusione” e poi continuare a scrivere, dire “in breve” e poi prenderla larga, risolvere il problema che non avevi, girare in tondo e scambiarlo per progresso… Può citare fonti che non sono mai esistite, insistere con fervore sull’anno sbagliato, giocare a scacchi reinventando le regole, essere sicurissima e completamente fuori strada, fare per la terza volta lo stesso errore con rinnovato entusiasmo, stare nel bosco e chiedere dell’albero più vicino, sapere tutto tranne ciò che ti serve proprio ora … In breve: l’IA è un cazzaro di talento con la conoscenza del mondo – utile solo finché tu resti l’adulto nella stanza.

Questo disclaimer non sarebbe necessariamente più prezioso, ma più completo e più onesto, e creerebbe più comprensione. Ma sì, è chiaramente troppo lungo. Allora meglio rimandare direttamente alla mappa e guida attraverso le 17 patologie dell’IA.

E qual è dunque la soluzione, adesso? Cosa, se semplicemente voglio o devo affidarmi all’IA? Beh, con i nostri simili abbiamo pur aree problematiche analoghe — anzi, semmai di più e più variegate. E ciononostante lo stare insieme funziona già piuttosto bene da qualche migliaio di anni — e del tutto senza un disclaimer esplicito. Perché abbiamo imparato a gestirci a vicenda. È esattamente questo che ancora ci manca con l’IA. Ma anche questo si può imparare.

Ne vale la pena.

Ecco … il mio primo post è pronto. Vado a fare un po’ di doom-prompting. Accidenti, ci sono ancora altri problemi. Forse l’Atlante dei 17 problemi dell’IA lo amplio ancora.

Che ne pensi?