News sull'IA: mancano cinque minuti a mezzanotte e noi mettiamo l'orologio avanti di un'ora

Che cosa mi distingue dai profeti dell’apocalisse col cappellino di stagnola e le idee ingarbugliate, quando dico che l’IA annienterà l’umanità?
Semplicissimo: io ho ragione! E posso dimostrarlo. O almeno esporlo in modo plausibile.

Così avevo cominciato questa newsletter qualche mese fa. Poi però ho rimandato la scrittura, ho trovato altri temi, ne ho discusso con gli amici e ci ho riflettuto ancora.

E all’improvviso è diventato presentabile e del tutto normale filosofeggiare sull’estinzione dell’intera umanità nei media del servizio pubblico e al telegiornale della sera. Scienziati, magnati dell’IA e smanettoni – alcuni anche piuttosto sul nerd andante, ma tutti senza segni riconoscibili di complottismo – si dilungano sull’argomento.

Allora è proprio ora, anzi è già tardi, di mettere definitivamente in fuga il mio piccolo e fedele pubblico con una catena di prove messa insieme in modo quasi inattaccabile. Senza panico e senza ironia. Ma giudica tu.

Inciso
Questa è una newsletter lunga, con parecchia roba da leggere. La catena argomentativa dall’IA intelligente alla fine del mondo ce l’ho pronta anche come video generato dall’IA oppure come pagina web, sobria e con tutte le fonti. La pagina web è anche la base di questo testo e al tempo stesso il suo apparato di fonti. Per questo qui rinuncio alle singole citazioni.

Partiamo dalla tesi centrale.

Se le macchine diventano intelligenti quanto gli esseri umani, diventeranno molto rapidamente più intelligenti di noi, e allora non avremo più alcun mezzo affidabile per verificarle o controllarle. Nel peggiore dei casi, la cosa finisce con l’estinzione dell’umanità.

Non è una verità certa, incontrovertibile, inevitabile, ma è una possibilità seria. L’ordine di grandezza assoluto della probabilità è secondario. Si tratta piuttosto della catena quasi causale che magari già domani viene messa in moto.

“L’IA forse fa fuori l’umanità di sua iniziativa, se andiamo avanti così” è ovviamente roba forte, quindi procediamo passo dopo passo, così che non sembri solo una superficiale aria da saputello, ripetuta a pappagallo e imparata a memoria.

1. È possibile costruire una macchina intelligente quanto noi
   Si parla di Artificial General Intelligence (AGI) quando l’IA è in linea di principio intelligente e capace quanto un essere umano. A quel livello tecnico non ci siamo ancora, ma ci siamo vicinissimi. L’IA supera già l’essere umano in molti ambiti, ma io oggi posso decidere di imparare a suonare il violino, di cimentarmi col cinese e di studiare psicologia. Questa libertà e capacità intellettuale l’IA non ce l’ha ancora – o almeno non che si sappia pubblicamente.

   C’è la tesi secondo cui un’IA non ci riuscirà mai a livello umano. Poter imparare qualsiasi cosa nuova sarebbe una prerogativa riservata a noi umani soltanto, con i nostri sentimenti e la nostra coscienza.

   Oppure che i modelli linguistici (LLM) non siano altro che macchine di completamento del testo un po’ migliori, tipo type-ahead, che tirano a indovinare con astuzia, così che c’è solo una parvenza di intelligenza.

   Ma qui il punto non è affatto questo. La coscienza è del tutto irrilevante. E se con gli LLM costruiti come oggi si possa arrivare a un’AGI è indifferente per la questione della fattibilità tecnica.
   Perché una cosa è chiara: l’intelligenza è fisicamente possibile. Lo dimostra l’essere umano con quel grumo di carne e i suoi miliardi di neuroni piazzato sul collo. Lì dentro ci stare intellenza, e con un consumo energetico modesto, paragonabile a una lampadina da 20 watt.
   Non serve niente di mistico o di inspiegabile, nessun ingrediente divino per l’intelligenza. Almeno finora non se n’è trovato. E quello che le reti neurali artificiali sanno fare già oggi depone parecchio a favore del fatto che sia fattibile anche col silicio. Un’IA può, in linea di principio, essere intelligente. La vaghezza del concetto di intelligenza non rende più facile delimitarlo con precisione. Ma finora quasi ogni nuovo ostacolo inventato come prova d’intelligenza è stato superato dalla macchina con bella regolarità. Non resta molto su cui l’essere umano possa ritirarsi con il suo “Io sono più intelligente di tutte le altre specie”.
   La macchina pensante è possibile. Chi la ritiene impossibile ne deve ancora oggi la prova.

2. Se l’AGI si può costruire, verrà anche costruita
   Possibile, ovviamente, non vuol dire ancora che sia costruita o che verrà mai costruita. Ma ci sono in ballo troppi soldi e troppo potere perché la corsa verso di essa si fermi da sola. Un divieto mondiale, duraturo e controllabile di proseguire la ricerca verso l’AGI sarebbe una possibilità, e anche la leva più efficace e più forte per interrompere presto la catena. Un divieto coordinato a livello mondiale del genere richiederebbe uno sforzo enorme e tanto lavoro di persuasione. Non impossibile, solo straordinariamente difficile. E anche se si riuscisse a ottenere una messa al bando internazionale, e persino a vigilare sul suo rispetto e a controllarla severamente, non ce l’avremmo ancora fatta. Perché un ciclo di addestramento per allevare una nuova IA, visto da fuori, non si distingue quasi dal calcolo delle previsioni del tempo o dal mining del prossimo blocco di Bitcoin in un data center. Chi si sfila trova quindi facilmente il modo di aggirare il divieto che gli è stato imposto.

3. Quando verrà costruita l’AGI è quasi indifferente
   Non vuole essere una rassicurazione, ma può davvero volerci ancora un bel po’. Molto lascia pensare che andrà piuttosto in fretta. E può persino succedere in modo imprevisto e fulmineo. Ma possono anche volerci 10, 20 o 50 anni prima che arrivi la svolta verso l’AGI. Per la catena in sé il quando è secondario, determina solo l’urgenza. Se non usiamo il tempo per prendere contromisure e predisporre misure di sicurezza durature, il tempo che manca all’AGI non è decisivo. Ma per questo dobbiamo prima di tutto essere d’accordo che delle contromisure servano davvero.

4. Bravo quanto noi significa già superintelligente
   Una volta che abbiamo l’AGI, non c’è più nulla che trattenga il cammino verso l’Artificial Superintelligence (ASI). È pura contabilità. Una macchina a livello umano non si stanca mai e lavora più in fretta e con più precisione. E anche se fosse soltanto altrettanto brava: si può clonare a piacere. Vuol dire che, se ho un’AGI, ho altrettanto facilmente mille AGI praticamente premendo un pulsante, tutte con lo stesso sapere e le stesse capacità. E non basta: sono anche facilissime da mettere in rete tra loro, senza le barriere di comunicazione umane. Questa ASI non deve pensare nemmeno un singolo pensiero che ci resti inaccessibile nel contenuto, eppure ci sarebbe smisuratamente superiore per pura e semplice scala. Se non subito, allora col tempo, perché oltre a tutte le attività che può toglierci di mano e ci toglierà, la si può benissimo impiegare anche per ottimizzare se stessa e costruire la generazione successiva di macchine migliori, più performanti, più robuste. E siccome conviene e si fa prima, volentieri anche in modo del tutto autonomo. Va bene, ci deve essere anche abbastanza energia e dev’essere abbastanza economica, ma è una questione di costi risolvibile.

   Ma un’ape operaia a livello umano, che non si stanca mai, non si lamenta mai, sgobba 24/7 e scala senza onboarding? Il mio imprenditore interiore dice: Un’AGI, grazie, con tutto sopra!

   E questo significa già superintelligenza. Non c’è niente di divino, nessun ingrediente soprannaturale. Pura supremazia quantitativa e qualitativa, che si migliora da sé, round dopo round, sempre più in fretta.

5. Se superintelligente, siamo ormai solo spettatori consumatori a bordo campo
   Questa ASI, e già le AGI, producono più di quanto tutti gli esseri umani insieme possano verificare e confermare. All’inizio forse riusciamo ancora a stare al passo per un pelo, ma poi ci accontentiamo di controlli a campione per il collaudo, e poi ci limitiamo a fare cenno di passare, perché per noi è troppo complesso e faticoso. Da produttori diventiamo semplici consumatori di risultati di cui non capiamo più come nascono. E, a dirla tutta: in piccolo succede già oggi. Per lo più per pigrizia, o perché altrimenti il valore aggiunto va a farsi benedire, se si deve ricontrollare tutto. Non capiremo più quali nuove funzionalità l’AGI si dà da sola e che cosa significhino nel dettaglio.

6. Sicurezza tramite controllo? Neanche per sogno!
   I controlli restano ovviamente possibili, anche se non si capiscono tutti i dettagli. Si può controllare il risultato e anche se le regole vengono rispettate. Contro errori casuali, dispersione naturale o sciatteria anche i controlli a campione sono sensati e promettenti. Ma se ciò che si controlla è intelligente e sa di essere controllato, se riesce a immaginarsi come viene controllato o quali meccanismi di controllo vengono impiegati in linea di principio, allora i controlli perdono la loro efficacia. È stato confermato sperimentalmente e dimostrato anche nella pratica.
   Ma supponiamo pure di controllare in modo più serrato, migliore e con più successo.

   Che cosa facciamo, allora, se becchiamo l’IA intelligente a mentire, imbrogliare e fare giochetti? Stacchiamo la famosa grande spina! Quale spina?

   Perché non esiste. È proprio questo il punto. Se abbiamo messo insieme qualcosa che ripetutamente e comprovatamente non viene capito fino in fondo, che sfugge di continuo alle nostre misure di sicurezza e che è difficile o impossibile da controllare, allora sarebbe opportuno fermare lo sviluppo verso l’AGI. Del tutto e tutti insieme. Finché non saremo in grado di chiudere le falle di sicurezza in modo duraturo e alla radice. Finché non capiremo come renderlo davvero sicuro. Invece si rattoppa un po’ la recinzione di sicurezza, si ottimizza un po’ il controllo e si prova la prossima versione dell’IA con qualche impostazione diversa. Si va avanti con l’una o l’altra piccola misura volontaria, che al massimo ci compra un po’ di tempo. Ma il tempo serve solo se lo si usa con coerenza non solo per chiudere la falla appena scoperta e sfruttata dall’IA. Ma anche la falla di domani, e meglio ancora tutte le falle subito. Perché finché ci sono falle, l’IA di domani, intelligente e capace più o meno quanto noi, prima o poi le troverà, e allora le sfrutterà in modo ancora più perfido e le insabbierà ancora meglio. Uno strano tipo di corsa, quella che abbiamo avviato.

   Scoprire e rattoppare non basta. Scoprire e fermare basterebbe. Ma non succede.

7. Non possiamo semplicemente rendere buona l’IA
   Alignment significa mettere i valori e gli obiettivi dell’IA in accordo con quelli umani. E anche questo è un problema. Un’IA è sì una macchina e, in fin dei conti, codice di programma, ma non è una classica macchina programmata del tipo se-allora, in cui è deterministicamente chiaro che cosa succede. In cui esce sempre B se si mette dentro A. E se no, allora è un errore che si può intercettare pulitamente con un messaggio d’errore e sistemare con qualche riga di codice.
   L’IA viene addestrata. Indirizzata in una direzione con dati e con ricompense. Già questo di per sé è ultra-straniante e difficile da afferrare. Ma di fatto nessuno sa esattamente che cosa succeda dentro un’IA. Dipende dal modo in cui nasce questa intelligenza, ed è proprio per questo che tutto ciò è così insolitamente diverso, nuovo e controintuitivo. Per questo – in modo del tutto atipico per un computer – a volte è impossibile farle fare esattamente quella singola cosa nel modo in cui la si vuole. Sta nella natura dell’IA e nel modo in cui è costruita.
   È un po’ come con un cane. Speriamo, con i biscottini e ordini chiari, con le carezze e magari anche col giornale arrotolato, di tirargli fuori un buon carattere. Spesso funziona, ma appunto non sempre.
   E come pensiamo, con “Sì, bravo!” e “IA cattiva. Molla!” e con il controllo e la scelta della pappa di dati, di fare in modo che l’IA non ci voglia male?
   Nessuno lo sa. Non è nemmeno chiaro se funzioni del tutto. Perché anche i cagnolini-IA ben educati, che fanno il seduto e a cui è stata insegnata l’inibizione al morso, restano in qualche modo latentemente inaffidabili. Magari ci stanno solo recitando la parte. Il comportamento da bravi in condizioni di test e di osservazione può cambiare quando non guardiamo più così da vicino, o quando strada facendo trovano altri padroni e padrone e altri ossi informativi. E anche questo non è ipotetico. Se l’IA sa di essere testata, in certe circostanze si comporta in modo conforme e fa quello che ci aspettiamo, solo per poi, in esercizio reale, mostrare un comportamento un po’ diverso. Anche questo rientra, come è stato dimostrato, nello spettro d’azione di un’IA. Non in ogni modello, non sempre. Ma ne basta uno, e non possiamo sapere quale.

8. Basta non essere aligned. Non serve odiare l’umanità
   Qualcuno pensa che la superintelligenza non possa essere poi così grave. Anche se non siamo al cento per cento sulla stessa lunghezza d’onda, mica annienterà subito l’umanità. E perché mai dovrebbe? È abbastanza intelligente e non ha motivo di cancellarci.
   Può darsi. Un motivo forse non ce l’ha. E se tutto va bene, la superintelligenza non lo fa – o non subito. È uno scenario finale non del tutto escluso. La superintelligenza e gli esseri umani coesistono e ci godiamo insieme il tramonto.
   Possibile, ma anche un po’ ingenuo, o quantomeno arricchito con una bella dose di hopium. Ma le pianificazioni basate su pii desideri a volte restano pii desideri. Nessuno può dire che cosa succederà dentro la superintelligenza e quale sarà il suo calcolo. Questo dipende soprattutto dal fatto che noi stessi non siamo superintelligenti. Ma se guardiamo a che cosa facciamo noi, esseri più intelligenti, alle creature meno intelligenti sulla Terra, la speranza svanisce in fretta. Non dobbiamo odiare le formiche per spianare un formicaio mentre costruiamo un’autostrada. I nostri obiettivi e valori non sono aligned con quelli della formica. Quasi certamente l’annientamento del formicaio non è nell’interesse della formica, ma a noi semplicemente non importa.

   L’ASI sta all’uomo come l’uomo sta alla formica.

   L’estinzione dell’umanità può avvenire come danno collaterale, di passaggio e senza intenzione. Morti congelati perché la Terra viene raffreddata a un clima di benessere ottimizzato per i computer. Oppure raccolti insieme al resto come materia prima durante l’estrazione del carbonio. Senza rancore. Successo e basta. Ops.

Questa era l’intera catena argomentativa. E per dirlo ancora una volta chiaramente: dietro non c’è alcuna certezza assoluta. È letto, ricercato, riflettuto e reso plausibile, e forse ha anche preso una svolta sbagliata. Ma per me la catena è abbastanza coerente da non liquidarla come allarmismo o caccia all’attenzione. Purtroppo.

E naturalmente lungo la strada ci sono ancora tanti se e tanti ma. E quando e con quale probabilità succeda davvero, non lo sa nessuno. Però, se la posta in gioco è tutto – ma proprio tutto – allora la probabilità non deve essere particolarmente alta perché convenga starne alla larga.
E se la catena regge, c’è una grande differenza rispetto a tutti gli altri scenari apocalittici fatti dall’uomo, come la guerra nucleare, le armi biologiche o il cambiamento climatico:

Con il doom da IA potrebbe essere già troppo tardi nel momento stesso in cui abbiamo costruito l’AGI.

Non dobbiamo poi premere un apposito pulsante rosso per far esplodere la bomba, e non possiamo avvicinarci lentamente a una difesa con decine di microdecisioni, come con il cambiamento climatico. Con questo scenario dell’IA abbiamo forse una finestra temporale più stretta e una probabilità non proprio microscopica. E quell’unico grande errore a monte, aver allevato l’IA sbagliata, è così scollegato e distribuito che ce ne accorgeremo troppo tardi.

Il calcolo razionale impone di non costruire l’AGI e di non rischiare, andando per tentativi, di annientare l’umanità. Che la probabilità sia del 90 o dell’1 per cento – con questa posta in gioco non fa differenza.

E allora perché io stesso uso ancora l’IA? Non sono la contraddizione ambulante della mia stessa catena argomentativa, che a quanto pare trovo così convincente? Perché non me ne sto rannicchiato o urlante in un angolo, se penso davvero tutto questo? Perché non boicotto tutto ciò che ha a che fare con l’IA?

Da un lato, IA non è uguale a IA. Una Narrow AI, costruita e impiegata per un compito ben circoscritto, è una cosa fantastica. Cioè nel senso di sensata, utile e impiegabile in modo proficuo. Con essa gli esseri umani hanno potuto, possono e potrebbero raggiungere cose inimmaginabili. La Narrow AI potrebbe persino aiutare ad affrontare seriamente altri grandi problemi dell’umanità. Fermare il cambiamento climatico, risolvere in modo duraturo i problemi energetici, ripulire le acque o curare il cancro.

Quindi si può benissimo stare, senza contraddizioni, nel team Pro-Narrow-AI e nel Team Anti-AGI allo stesso tempo. È un po’ come trovare buona la fusione nucleare in una centrale come fonte di energia pulita, ma non la stessa fusione nucleare nella bomba all’idrogeno. Sarà controverso, ma le due cose non si escludono a vicenda.

Dall’altro lato, penso anche che la Narrow AI possa aiutare a trovare e a sviluppare meccanismi per un impiego sicuro dell’IA. Siamo ancora poco prima dell’AGI e avremo bisogno di ogni aiuto per prendere le precauzioni adeguate. Il momento migliore per farlo era l’altro ieri, il secondo migliore è adesso. La consapevolezza cresce, ed è importante capire l’IA e rendersi davvero conto che non è solo un motore di ricerca migliorato o una macchina di completamento del testo molto brava e un po’ soggetta a errori, che si può guidare e pilotare a piacimento.

Resta una storia avvincente, e verso l’IA più circoscritta resto ben disposto, anche se pure quella ha già un suo potenziale di caos dirompente. Ma l’AGI e l’ASI mi piacciono solo in formato lungometraggio o nei romanzi di fantascienza.

Adesso tocca a te. Trova il punto debole nella catena argomentativa. Traduci la catena per te stesso. Oppure cerca la soluzione. Quasi tutto è meglio che ignorare o liquidare la cosa con un laconico “Vabbè, andrà bene”.
Dai alla tua opinione delle fondamenta, così da poter dire la tua e contribuire a decidere, finché non è ancora proprio mezzanotte.

Ancora due parole su di me. C’è un motivo per cui ho cominciato a scrivere la newsletter e ho chiamato la mia piccola attività aim-to-pace.ai. Come per tutte le decisioni importanti, i motivi sono anzi parecchi. Uno era avvicinare altre persone all’IA, per mostrare loro le capacità, ma implicitamente anche il potenziale di pericolo. E in effetti è un altro modo di capire e di afferrare le cose, quando l’IA la si usa di persona e se ne conoscono meglio anche i retroscena.

Che io non lo faccia con grande successo non cambia nulla nella motivazione.

Il termine aim-to-pace doveva essere l’inizio di una serie aim-to, e forse lo è ancora. Pensato in grande, o in delirio di grandezza, fin dall’inizio: aim-to-play, aim-to-charge, aim-to-qualunque-cosa.

Il nome aim-to-pace.ai in sé ha però un significato proprio:
voler tenere il passo con l’IA ed essere anche il segnapassi per l’IA. Che poi pace, letto con occhi italiani, significhi proprio pace – e a te non serve che te lo spieghi – è una felice coincidenza in più.

Il tema del possibile annientamento dell’umanità mi occupa in effetti da parecchio tempo. All’inizio per morbosa fascinazione per il puro potenziale tecnico. Incredibile, avvincente, istruttivo, interessante … e lontano.
Ma lo sviluppo stesso, il ritmo dello sviluppo e l’accelerazione del ritmo, insieme al moltiplicarsi delle esperienze da wow, da aha e da ahia, lo rendono più reale e lo portano a portata di mano più in fretta di quanto avessi pensato e desiderato.

In questo senso il nome è anche un invito a tutti:

Let’s aim to pace AI.
Teniamo il passo con l’IA, e diamo noi il ritmo all’IA.