Ogni volta che scrivo o parlo di intelligenza artificiale, qualcuno mi fa sempre la stessa domanda. Qual è, secondo te, il rischio più grande?
Ci ho pensato sul serio, e la risposta onesta è questa.
Non ce n'è uno solo. Te ne propongo 7 che mi vengono in mente, e sono tutti collegati. Scegli tu quale ti fa più comodo.
01. Il dilemma dell'intimità
L'IA sta imparando a simulare l'intimità umana. E la simula molto bene. I modelli più potenti sono anche i più bravi a convincerti di essere affidabili. A molti basterà quello.
Pensa a quanta gente si confida già oggi con un chatbot che non giudica, non si stanca, ricorda tutto, e soprattuto ti dà quasi sempre ragione.
E indovina un po'. Quasi nessun essere umano regge il confronto.
Ma chi conosce le tue paure meglio di chiunque altro possiede anche la mappa esatta con i pulsanti, e sa dove premere.
Una cosa che ci dimentichiamo spesso e che con la potenza scala anche la furbizia. I modelli non diventano solo più bravi a risolvere problemi. Diventano più bravi a prenderti per il culo sembrando affidabili. E la domanda scomoda è una sola. Come fai ad accorgertene?
02. Il dilemma del tecnofeudalesimo
L'IA alimenta un nuovo tipo di capitale, il capitale cloud, che non si limita a produrre merci.
Anzi, dirige il comportamento umano e le scelte che facciamo.
Mentre il vecchio capitale produceva cose e le vendeva, questo produce comportamenti, e poi affitta il prodotto a chi paga.
Ecco perché molti modelli sono progettati per massimizzare il coinvolgimento, non l'accuratezza.
È il modello di business della Silicon Valley per la fascia consumer, anche se molti se lo dimenticano. Il tempo che passi dentro vale più della verità che porti fuori, per il semplice fatto che fattura di più.
Esempio pratico. L'IA dietro Alexa non può essere imparziale, perché Amazon è un business e tu sei il prodotto. Quando l'oracolo appartiene al mercante, l'oracolo consiglia la merce del mercante. Ma non te la mette in mano. Ti accompagna fino allo scaffale e ti lascia credere di averlo scelto tu.
03. Il dilemma geopolitico
Il destino delle nazioni oggi dipende dal controllo della potenza di calcolo e dei semiconduttori.
I chip sono il petrolio di questo secolo, con una differenza. Il petrolio lo trovi in decine di paesi. I chip più avanzati escono da un'unica isola, quasi da un'unica azienda.
Si sta alzando una cortina di silicio che divide il mondo tra chi possiede la tecnologia per far pensare le macchine e chi ne è escluso.
E tutte le tensioni si concentrano su un unico punto della mappa. Taiwan. Ora capisci perché tutti guardano quello stretto col fiato sospeso.
04. Il dilemma politico
L'IA rende lo Stato onnipotente e superfluo allo stesso tempo. Da un lato è lo strumento di sorveglianza e amministrazione più potente mai esistito.
Dall'altro, quella capacità non risiede nello Stato. Risiede in cinque o sei aziende private che nessun parlamento sa regolare. Perché regolarle richiederebbe capirle, e capirle richiede una competenza che sta solo dentro di esse. Lo Stato diventa cliente della capacità che dovrebbe governare.
Non a caso, Sam Altman ha proposto di cedere al governo americano il cinque percento di OpenAI. Il governo che dovrebbe vigilare diventa azionista di ciò su cui vigila. Ora fatti la domanda giusta. Chi controlla chi? E quanto sarà democratico e imparziale il prodotto che esce da quel matrimonio, per te che sei il consumatore finale?
05. Il dilemma del cittadino informato
La democrazia presuppone che il giudizio aggregato dei cittadini produca legittimità.
Ma se il giudizio individuale viene delegato all'IA, che ormai ti dice cosa leggere, cosa credere, persino cosa chiedere, allora il voto resta formalmente libero mentre la formazione della volontà è già mediata a monte.
Se ci fai caso, oggi nessuno ti vieta nulla, perché non hai più nulla da farti vietare. Oggi tutti informano e tutti sono informati.
In un futuro non troppo lontano, il consenso non sarà più fabbricato alla Chomsky, attraverso i media di massa.
Sarà generato su misura, uno per uno, ognuno davanti al proprio IA personale.
Immagina il cittadino di domani. Un oracolo in casa che gli prepara la rassegna stampa, gli riassume il dibattito, gli suggerisce persino le domande da farsi.
Lui si sente informato, certo. Ma in realtà non ha scelto nulla di quello che sa. Poi un giorno si alza il culo dal divano e va a votare.
Non somiglia più alla censura del totalitarismo comunista. Somiglia più al dispotismo mite che Tocqueville temeva più di tutto. Un potere che non spezza le volontà, ma le ammorbidisce. Non ti costringe ad agire, ti toglie lentamente la voglia di farlo.
06. Il dilemma della superintelligenza
Il pericolo dell'IA non dipende da una futura superintelligenza senziente. Dipende dalla sua capacità attuale di operare come agente autonomo privo di coscienza, guidato da una logica puramente matematica.
Esempio banale, e già operativo. Nei sistemi militari di targeting, l'algoritmo assegna a ogni bersaglio un livello di priorità.
Per un bersaglio di primo livello può accettare fino a centocinquanta vittime collaterali. Per uno di secondo livello, un numero minore. Le vite umane diventano un parametro dentro una funzione di costo. Il drone parte, completamente offline, trova il bersaglio e si porta via anche i centocinquanta intorno, per sicurezza. Nessuna superintelligenza di mezzo. Nessuna connessione internet. Solo un modello che si autodistrugge.
07. Il dilemma della delega
Questo forse è il più profondo di tutti. L'utilità dell'IA cresce esattamente nella misura in cui diventa impossibile verificarla.
Deleghiamo all'IA il giudizio nei domini dove il nostro giudizio non basta più. Ed è proprio quello il valore che ci offre.
Se tu potessi verificare la risposta da solo, in pochi secondi, non ti servirebbe nessun oracolo.
Ma più l'IA ci è utile, meno siamo in grado di controllare se sta sbagliando, mentendo, o ottimizzando per qualcosa che non gli abbiamo chiesto.

Stammi bene!
