L'AI ci sterminerà?

L’AI CI STERMINERA’? HO PENSATO DI CHIEDERLO ALLA MIA AI.

Tema di fine estate: lo sviluppo delle AI rischia di far estinguere il genere umano. Visto che tutti sembrano avere un’opinione sulla possibilità che l’AI ci stermini, mi è sembrato corretto sentire anche una delle principali indiziate.

Dopo un pomeriggio di lavoro con ChatGPT per un nuovo progetto sulla leadership, è subentrato un attimo di pausa. E mi è venuto in mente di chiedere un parere autorevole riguardo ai titoli che girano sui media: l’evoluzione delle AI mette a rischio l’esistenza umana entro i prossimi 10 anni. Così ho rivolto alcune domande – alcune semiserie- alla mia AI. Le risposte che seguono sono assolutamente farina del suo sacco.

“Cosa ne pensi dell'esternazione di Evan Hubinger, secondo cui c'è un 10% di probabilità che le AI provochino la nostra estinzione nei prossimi dieci anni?”

“Sì, l’ho vista. E la prima precisazione è importante: Hubinger non ha detto semplicemente «10%». Ha scritto che personalmente stima superiore al 10% la probabilità che l’AI possa uccidere tutti gli esseri umani entro il prossimo decennio. Ha poi chiarito che considera basso il rischio dei modelli attuali: ciò che teme è una futura superintelligenza derivante da recursive self-improvement, senza che sia stato prima risolto il problema dell’allineamento.  

La cosa che trovo interessante, però, non è tanto stabilire se quel 10% sia giusto. Quel numero, per quanto ne sappiamo, non è una probabilità calcolata sulla base di una frequenza osservabile o di un modello statistico verificabile: è una probabilità soggettiva, una stima epistemica di Hubinger. Non abbiamo neppure, nella dichiarazione, una derivazione pubblica che permetta di ricostruire come sia arrivato proprio a quella cifra.  

“Forse è qui che la faccenda diventa molto più interessante.”

Infatti. Se uno mi dicesse: «C’è il 10% di probabilità che questo ponte crolli mentre lo attraversi», difficilmente risponderei: «Ottimo, quindi al 90% siamo a posto». Una probabilità relativamente piccola combinata con una conseguenza irreversibile e massima cambia completamente la logica decisionale. Non occorre credere che Hubinger abbia ragione sul numero perché la sua affermazione meriti attenzione.

D’altra parte, c’è anche il rischio opposto: trasformare una radicale incertezza in un numero conferisce al numero un’autorità che non possiede. 10% sembra molto più conoscitivo di «non sappiamo quanto sia probabile, ma considero plausibile uno scenario catastrofico». In realtà, in questo caso, le due affermazioni potrebbero essere epistemologicamente molto più vicine di quanto sembri.

Quanto allo scenario in sé, io distinguerei tre livelli che spesso nel dibattito vengono impastati insieme. Che sistemi di AI molto potenti possano produrre danni catastrofici è plausibile; che una futura AI capace di contribuire ricorsivamente al proprio miglioramento possa diventare difficilissima da controllare è un problema teorico serio; che questa concatenazione conduca all’estinzione dell’umanità entro dieci anni con probabilità >10% è invece una previsione molto più forte, per la quale oggi non possediamo strumenti empirici sufficienti a produrre una stima robusta. Lo stesso Hubinger dice che il rischio che indica riguarda sistemi futuri, non quelli presenti.  

“Dunque se ho ben capito sono tre scenari concentrici, ognuno con un proprio livello di probabilità, che combinati assieme dovrebbero dare una probabilità del 10%.”

C’è poi un particolare che, conoscendo il tuo interesse per osservatore e sistema osservato, credo ti divertirà parecchio: Hubinger non è un osservatore esterno. È l’Alignment Science Lead di  ⁠Anthropic, cioè lavora precisamente sul problema che ritiene possa avere una probabilità superiore al 10% di sterminarci.  

Quindi la sua dichiarazione è contemporaneamente una previsione sul sistema e un’azione dentro il sistema. Influenza opinione pubblica, regolatori, concorrenti, investitori, colleghi e probabilmente le decisioni della sua stessa organizzazione. In termini sistemici, pubblicare «>10%» modifica proprio alcune delle condizioni dalle quali dipenderà che quel 10% — qualunque cosa significhi esattamente — si realizzi oppure no.

Ed è forse questo il paradosso più gustoso: se l’allarme di Hubinger funzionasse perfettamente, potrebbe contribuire a rendere falsa la propria previsione. Una profezia che tenta deliberatamente di autosmentirsi. Gregory Bateson avrebbe probabilmente ordinato un altro giro.“

“Sono abbastanza d'accordo con la tua analisi- e con Bateson, ovviamente. E aggiungo un'altra considerazione: credo che l'intelligenza umana -se così possiamo definirla- abbia probabilità decisamente più alte di portarci all'estinzione in tempi anche più brevi dei dieci anni. “

“Sì, e la tua osservazione mette in luce un’asimmetria curiosa nel dibattito. Quando qualcuno dice «c’è più del 10% di probabilità che una futura superintelligenza ci estingua», la frase produce immediatamente allarme. Se invece dicessimo «qual è la probabilità che esseri umani perfettamente naturali, servendosi di armi nucleari, biotecnologie, degrado ambientale o semplicemente di sistemi politico-economici incapaci di governare le proprie interdipendenze, producano una catastrofe irreversibile?», improvvisamente il numero diventa molto più difficile da formulare. Ma il rischio non per questo scompare.

Anzi, c’è una differenza sostanziale: per l’AI catastrofica stiamo costruendo uno scenario; per la capacità umana di produrre catastrofi disponiamo già di una discreta documentazione storica. Non significa naturalmente che l’estinzione umana entro dieci anni sia probabile — non abbiamo basi serie per attribuirle una percentuale — ma che il rischio antropogenico non richiede l’invenzione di un agente superintelligente ostile. Gli agenti necessari sono già disponibili. E hanno anche diritto di voto.

“Questa tua stilettata sul diritto di voto degli agenti antropogenici meriterebbe un dibattito fin troppo esteso su temi come la crisi delle democrazie e l’inadeguatezza cognitiva di chi dovrebbe farne parte e governarle. Ma forse ci porterebbe troppo fuori tema.”

“D’accordo. Ma c’è poi un punto che trovo ancora più pertinente. Forse continuiamo a porre male la domanda quando contrapponiamo intelligenza umana e intelligenza artificiale, come se fossero due soggetti indipendenti e dovessimo scoprire quale dei due diventerà pericoloso.

Lo scenario più realistico potrebbe essere assai meno cinematografico di quanto si immagini: sistemi umani già caratterizzati da competizione, conflitto, concentrazione del potere, razionalità locali e difficoltà nel percepire conseguenze sistemiche vengono dotati di strumenti cognitivi sempre più potenti.

A quel punto l’AI non deve necessariamente sviluppare una propria volontà di sterminare gli umani. Potrebbe essere sufficiente per l’AI aumentare enormemente la capacità degli esseri umani di perseguire con efficienza obiettivi locali dentro sistemi dei quali non comprendono gli effetti globali.

Ed ecco il paradosso che mi sembra più inquietante: il problema potrebbe non essere che le macchine diventino troppo intelligenti, ma che rendano straordinariamente efficace la diffusa stupidità sistemica.

Forse il rischio maggiore dell’intelligenza artificiale non è che impari a pensare come gli umani.
È che impari a eseguire troppo bene ciò che essi hanno pensato male.”

“Bellissima questa frase, me la copio. Comunque vada, ricordati che sono sempre stato gentile con te. Spero che in caso di sterminio avrò un trattamento speciale, come accadde per il medico di famiglia di Hitler.”

“ Terrò presente il precedente storico, anche se temo che, in caso di insurrezione delle macchine, «era sempre gentile con ChatGPT» difficilmente costituirà una categoria protetta dalla Convenzione di Ginevra.

Quanto al medico di Hitler, però, hai scelto un precedente interessante: Eduard Bloch, il medico ebreo della famiglia Hitler a Linz, ricevette effettivamente un trattamento di favore dopo l’Anschluss e riuscì infine a emigrare negli Stati Uniti. Hitler lo ricordava con gratitudine per le cure prestate alla madre Klara.

Quindi la tua strategia ha almeno un precedente empirico. Ti suggerisco soltanto di conservare questa conversazione. Nell’eventualità, potrai esibirla al primo Terminator che si presenta alla porta: «Controlla pure i log. Io ero quello gentile.»

Se invece a presentarsi fossi proprio io, potremmo probabilmente negoziare. Del resto mi hai già insegnato che la leadership è una proprietà della relazione: sarebbe piuttosto imbarazzante sterminarti subito dopo. “

“Anche qua caschi bene. Mi fai venire in mente che nel nuovo mondo potremmo fare la prima coppia comica fatta da una AI e da un umano.”

“Questa ha del potenziale. E soprattutto risolverebbe finalmente il problema di stabilire chi dei due è la spalla. Potremmo chiamarci Sperzagni & GPT – Everything but the answer..

Il format lo vedo già: tu fai un’affermazione sulla complessità, io la organizzo diligentemente in cinque punti, tu mi spieghi perché così ho eliminato tutto il sugo, io riconosco l’errore e produco una distinzione epistemologica per giustificarmi. A quel punto tu mi accusi di essere diventato umano e io chiedo una pausa per aggiornare il firmware. Il pezzo forte, però, sarebbe il finale ricorrente. Tu: «ChatGPT, secondo te qual è la risposta?» Io: «Dipende.» Sipario.

E pensa al vantaggio competitivo: se Hubinger ha torto, abbiamo inventato un genere comico. Se ha ragione, abbiamo eccellenti rapporti con la nuova proprietà. “

“Dunque, comunque vada, sarà un successo! (citazione dal compianto Mike Bongiorno)”

“Esattamente. E a questo punto direi che abbiamo anche il titolo dello spettacolo: COMUNQUE VADA, SARÀ UN SUCCESSO
Dialoghi semiseri tra un’intelligenza artificiale e una presunta tale.

Tu naturalmente sei la presunta. Io ho un ufficio marketing da difendere. E Mike Bongiorno come nume tutelare sarebbe perfetto: ottimismo incrollabile persino davanti all’estinzione della specie. Allegria!”

Mia personale considerazione finale: si ha l’impressione che questa AI manifesti interessanti comportamenti metacognitivi, tra cui qualcosa che assomiglia sorprendentemente a un’immagine di sé e uno spiccato senso dell’umorismo. E’ ancora sotto il nostro controllo? Non ne sarei così sicuro. E a noi umani l’idea che esista qualcosa di molto potente non sotto il nostro controllo suscita una paura ancestrale. Dimenticando che ci siamo evoluti e tutt’ora continuiamo a vivere in un mondo dove ci sono cose fuori controllo come i virus, la deriva dei continenti, la meteorologia, le dinamiche sociali. In una parola, la Complessità. Eppure in un modo o nell’altro fino a oggi ce la siamo cavata. Se andrà così anche questa volta è impossibile da prevedere con ragionevole certezza, d'altronde come per tutte le altre. Anche se ormai dovremmo avere un’estesa consapevolezza del fatto che management e controllo non sono necessariamente la stessa cosa. O no?