Traduciamo e condividiamo questo articolo da Capulcu, di analisi critica di Chat GPT e intelligenza artificiale.
La traduzione in inglese la trovate qui.
Una società con persone false che non riusciamo a distinguere da quelle reali presto non sarà più una società
(Emily Bender, linguista computazionale)(1).
L’intelligenza artificiale (AI) sta vivendo il suo momento iPhone. ChatGPT ha creato un clamore senza precedenti intorno all’intelligenza artificiale. In due mesi, più di 100 milioni di persone in tutto il mondo hanno provato la nuova tecnologia.
MODELLI LINGUISTICI NON MODELLI DI CONOSCENZA
Il Chatbot (2) ChatGPT si basa su un cosiddetto modello linguistico di grandi dimensioni, che possiamo considerare come un circuito molto grande con (nel caso attuale del GPT-4) un trilione di parametri regolabili. Un modello linguistico parte da una pagina bianca e viene addestrato con diverse migliaia di miliardi di parole di testo. La funzione di tale modello è quella di indovinare la parola successiva in una sequenza di parole in base a ciò che ha “imparato”. Il significato delle parole per un modello linguistico è semplicemente la registrazione statistica del contesto in cui appaiono.
Questa imitazione della “comprensione” o “conoscenza” del testo attraverso il calcolo delle probabilità di apparizione di singole parole, all’interno di schemi di vocaboli complessi, funziona talvolta in modo sorprendente. Generare contenuti senza alcuna comprensione semantica ha naturalmente lo svantaggio di produrre anche molto nonsense (in senso stretto). Ad esempio, ChatGPT utilizza questa tattica di imitazione dei testi di formazione per generare trattati dall’aspetto scientifico, compresi riferimenti “liberamente inventati”, che sembrano strutturalmente coerenti, ma che non esistono. ChatGPT “inventa” cose, quindi produce masse di contenuti falsi, questo perché è un modello linguistico statistico e non un modello basato sulla conoscenza.
Il fatto che Google e Microsoft colleghino le ultime versioni dei loro motori di ricerca con i rispettivi modelli linguistici ChatGPT e Bard non favorisce quindi un grado residuo di “fattualità” su Internet. C’è una cosa che l’intelligenza artificiale sotto forma di modelli linguistici può fare ancora meno di qualsiasi ricerca aggregata su Internet basata su argomenti: verificare i fatti. Poiché i questi modelli calcolano solo le probabilità di forme linguistiche, che per loro sono prive di significato, il controllo dei fatti della nuova “conoscenza” (al di là dei dati di addestramento) è un punto cieco: i modelli linguistici soffrono di un fenomeno che i programmatori chiamano “allucinazione “(3): sono programmati per dare (quasi) sempre una risposta che abbia una probabilità sufficientemente alta a livello di gruppi di parole “strettamente correlati”, così da avere (successivamente) un senso per l’utente. ChatGPT è quindi concettualmente una macchina falsa per la produzione di contenuti apparentemente plausibili, ma non necessariamente basati sui fatti, e quindi idealmente adatta alla diffusione di della disinformazione o, addirittura peggio, della falsa informazione.
Questo rafforza un effetto che era già riconoscibile attraverso il ranking algoritmico dei social media: i contenuti, non basati sui fatti, possono essere “portati in cima” al flusso di notizie individuali in modo tale da auto-rinforzarsi e distorcere le opinioni. Questa è la tesi centrale di questo testo.
ChatGPT consente la produzione (automatizzata e incondizionata) di contenuti post-fattuali, che acquisiscono peso statistico nell’interazione con il controllo algoritmico della portata dei social media e con gli algoritmi di ranking dei motori di ricerca. Il feedback dei contenuti dei social media così generati nel set di dati di addestramento della prossima generazione di modelli linguistici consente persino ai contenuti sintetici di dominare il web.
CANNIBALISMO E CENSURA CON UNA QUOTA CRESCENTE DI CONTENUTI GENERATI DALL’ IA
Tale dominio ha conseguenze tangibili: le dimensioni dei modelli linguistici aumentano e con esse la necessità di materiale di addestramento per l’apprendimento automatico. Per il training vengono utilizzati sempre più contenuti sintetici, perché più contenuti producono le IA come ChatGPT o Google Bard, più frequentemente includeranno i propri contenuti nel loro set di dati. Questo accade durante l’attività di data mining, in cui i programmi automatici assorbono quasi tutti i dati liberamente disponibili su Internet. Google utilizza anche applicazioni proprie come Gmail e servizi di archiviazione come Google Drive o Google Docs.
La ridigestione dei contenuti autogenerati crea un ciclo di feedback “autoconsumante” che è soggetto a un disturbo verificabile, noto come Model Autophagy Disorder (MAD) (4): gli errori nei generatori di immagini, ad esempio, vengono amplificati ricorsivamente in artefatti reali e portano a un declino della qualità dei dati. Si veda, ad esempio, l’immagine dei volti generati artificialmente quando vengono riutilizzati come materiale di addestramento nella generazione successiva (t=3) o in quella successiva (t=5), ecc. Ancora più importante è la massiccia riduzione della diversità dei contenuti nella rete, con un’aggiunta troppo limitata di nuovi contenuti non sintetici. Qualcosa di simile si può osservare nella generazione di testo da parte di ChatGPT.
Già nell’aprile 2023 (poco dopo l’attivazione dell’interfaccia gratuita per l’utilizzo di ChatGPT), NewsGuard ha identificato circa 50 siti di notizie e informazioni in sette lingue che sono generati quasi interamente da modelli linguistici AI (5). Questi siti producono un gran numero di articoli puramente sintetici su vari argomenti, tra cui politica, salute, intrattenimento, finanza e tecnologia. Ciò sembra confermare i timori degli scienziati dei media: i siti di notizie generati da algoritmi stanno diffondendo contenuti generati dall’IA da autori fittizi per generare entrate pubblicitarie e/o influenzare il dibattito. La maggior parte dei lettori non ha modo di identificare questi articoli come sintetici/artificiali (6).
Dalle recensioni di prodotti, dalle raccolte di ricette, ai post dei blog, ai comunicati stampa, alle immagini e ai video, la paternità umana dei testi online è sulla buona strada per diventare l’eccezione piuttosto che la norma. Secondo previsioni pessimistiche, entro la fine di questo decennio la quota di contenuti generati dall’intelligenza artificiale su Internet raggiungerà il 90%.(7) Questi testi generati dall’intelligenza artificiale compaiono già negli elenchi dei risultati dei motori di ricerca. Google vuole intervenire sui “contenuti solamente con lo scopo principale di manipolare il ranking nei risultati di ricerca”.(8)
Come gestire l’esplosione di dati che queste IA provocheranno? Come cambierà un pubblico che può essere così facilmente inondato di disinformazione e di informazioni errate?
Con l’aumento della proporzione, questi contenuti sintetici potrebbero ridurre drasticamente l’ “utilità” di Internet: chi si fa strada tra una montagna (ancora più grande) di informazioni quasi prive di senso, senza alcun riferimento alla realtà della vita degli autori umani? È possibile determinare se un testo, un’immagine, una sequenza audio o video sono stati generati o falsificati da un’IA? I produttori di software offrono già strumenti per individuare i contenuti generati dall’IA, naturalmente anche sulla base del riconoscimento di pattern da parte di un’intelligenza artificiale. I testi generati dall’uomo possono essere distinti da deviazioni statistiche rispetto ai modelli di probabilità dei raggruppamenti di parole utilizzati nei modelli linguistici dell’IA. Tuttavia, si tratta di differenze statistiche il cui riconoscimento nei singoli casi è quindi altamente soggetto a errori.
Se prevale il contenuto artificiale, la maggior parte degli utenti delle piattaforme di comunicazione chiederà la cancellazione automatica, poiché un flusso di messaggi “non aggiustati” contiene troppe “sciocchezze” troppo difficili da riconoscere. Ciò si traduce in una licenza di cancellare o rendere invisibili i contenuti online (intrinsecamente politici). Gli architetti degli algoritmi dei social media, che ora devono essere adattati, e gli elaboratori di dati per l’addestramento e l’output dei modelli linguistici di grandi dimensioni, ricevono un potere inaccettabile all’interno della sfera pubblica politica.
Un approccio basato sull’intelligenza artificiale al problema dei contenuti sintetici su Internet è un disastro politico per lo sviluppo storico di Internet, che ha preteso di promuovere la democratizzazione dell’accesso alla conoscenza e lo scambio di informazioni.
La concentrazione di potere in un piccolo oligopolio è ancora più grave in quanto la privatizzazione delle tecnologie linguistiche sta procedendo su vasta scala. Quando Mira Murati, capo sviluppatore di ChatGPT, si è unita a OpenAI nel 2018, l’azienda era ancora concepita come un istituto di ricerca senza scopo di lucro: si trattava di “garantire che l’intelligenza artificiale generale vada a beneficio di tutta l’umanità”. Nel 2019, come di solito accade agli unicorni in erba [per unicorno si intende una start-up con una valutazione superiore a un miliardo di dollari (nel mondo) o di euro (in Europa) le cui azioni non sono negoziate in borsa. N.d.T.] nati come progetti di sviluppatori aperti, il modello non profit è stato abbandonato. Le aziende di IA più potenti tengono nascosta la loro ricerca, questo per evitare che i concorrenti traggano profitto dal loro stesso lavoro. La corsa a modelli sempre più completi ha già fatto sì che solo poche società rimarranno in gara: oltre allo sviluppatore GPT Open AI e alla sua vicinanza a Microsoft, si tratta di Google, Facebook, xAI (la nuova società di Elon Musk), Amazon e, in misura limitata, fornitori cinesi come Baidu (9). Le aziende più piccole non commerciali e le università non avranno praticamente alcun ruolo. Il contesto economico di questa drastica riduzione del panorama della ricerca è che l’addestramento dei modelli linguistici è un processo ad alta intensità di risorse che richiede un’enorme potenza di calcolo, quindi una notevole quantità di energia. Un singolo addestramento per il modello linguistico attualmente più grande, GPT-4, costa attualmente 63 milioni di dollari. (10)
IN CORSIA DI SORPASSO NELL’ERA DEI DEEPFAKE
Analogamente alla generazione da (testo-a)-testo tramite ChatGPT, programmi come Midjourney o Stablediffusion utilizzano un generatore da (testo-a)-immagine, anch’esso basato sull’apprendimento automatico, per generare immagini sintetiche a partire da una descrizione testuale di queste. All’inizio dell’anno, le immagini false di un arresto fittizio di Donald Trump e di un papa alterato in stile rapper, create in questo modo, sono state considerate testimonianze iconiche di una “nuova era fake” di Internet da parte delle testate di tutto il mondo. Tuttavia, entrambi erano semplicemente dei falsi d’immagine ben fatti ma innocui. Altre forme di disinformazione basate su modelli linguistici hanno conseguenze ben più gravi.
In occasione della Code Conference 2016, Elon Musk ha commentato così le capacità del suo Tesla Autopilot: “Una Model S e una Model X possono attualmente guidare autonomamente con maggiore sicurezza di un essere umano.” Nell’aprile del 2023, gli avvocati di Elon Musk hanno sostenuto in tribunale, a difesa di una richiesta di risarcimento danni, che il video della presentazione della conferenza in cui Musk ha fatto questa affermazione giuridicamente epocale era un deepfake (12).
Un anno prima due imputati, sotto processo per l’assalto al Campidoglio del gennaio 2021, hanno sostenuto che il video che li ritraeva in Campidoglio poteva essere stato creato o manipolato dall’intelligenza artificiale. L’inganno e la simulazione di esso sono sempre esistiti, infatti già affrontato questo tema quando è stato reso popolare il software di editing delle immagini Photoshop. La novità è che, in questi casi, non è richiesta alcuna abilità manuale e la manipolazione quasi istantanea e accessibile a tutti riguarda anche le sequenze video e audio.
“Il problema principale è che non sappiamo più cosa sia la verità” (Margaret Mitchell, ex dipendente di Google e attuale responsabile etico della start-up di AI Hugging Face).
“Questo è esattamente ciò di cui ci siamo preoccupati: con l’ingresso nell’era dei deepfakes, chiunque può negare la realtà”, ha dichiarato Hany Farid, esperto di digital forensics e professore all’Università della California, Berkeley. “È il classico dividendo della menzogna (13)”. Un pubblico scettico sarà portato a dubitare dell’autenticità di documenti di testo, audio e video autentici.
Data la notevole velocità con cui ChatGPT sta guadagnando nuovi utenti, ciò rappresenta un’enorme spinta futura per il post-fattuale, il cui effetto principale non è che mondi paralleli autoconsistenti di false narrazioni rivendichino la “verità” nel senso della fattualità, ma che rispondano alla domanda “Cosa è vero e cosa è falso?”, almeno in alcune parti del discorso pubblico.
I grandi modelli linguistici sono praticamente l’ideale del bullshitter, come lo definiva il filosofo Harry Frankfurt, autore di On Bullshit. Gli sparacazzate, secondo Frankfurt, sono peggio dei bugiardi. A loro non interessa se qualcosa è vero o falso. Sono interessati solo al potere retorico di una narrazione. Entrambi gli aspetti, ignorare la questione del vero o del falso e decostruirla attivamente, hanno il potenziale di smantellare le certezze sul funzionamento della società. L’impegno politico auto-organizzato dal basso rischia di diventare una fuga cieca lungo falsi presupposti. La disillusione che ne consegue incoraggia un ritiro nella sfera privata – un aspetto del tutto auspicabile e incoraggiato (14). Le forze di destra, interessate a destabilizzare la società attraverso una crescente polarizzazione, possono trarre vantaggio politico da un’alta percentuale di disinformazione. Steve Bannon (ex consigliere di Donald Trump) ha ripetutamente descritto i media come un nemico da sconfiggere. Per farlo, ha detto, bisogna “inondare il campo [dei media] di merda”. Più l’accettazione delle informazioni diffuse è disgiunta dalla loro veridicità, più è facile diffondere disinformazione manipolativa. Le fake news sono solitamente sorprendenti e generano un’attenzione significativamente maggiore. È stato dimostrato che emozioni deliberatamente indirizzate come l’indignazione, la paura e l’odio generano una maggiore attività tra i lettori e quindi trattengono gli utenti sui social network più a lungo rispetto alla gioia, alla fiducia e all’affetto. Questo modello viene riconosciuto dal controllo algoritmico dei social media e rafforzato come tendenza attraverso il feedback. Questo peso statistico a favore dei post di destra all’interno dei dibattiti politici ha portato a un chiaro spostamento a destra su Twitter, ad esempio, molto prima dell’acquisizione da parte di Elon Musk e del suo riorientamento dell’algoritmo (15). Il trionfo del trumpismo dopo il 2016 è un esempio ben studiato di questi spazi discorsivi contaminati.
DUBBIO RIDUZIONISMO
I motori di ricerca come Bing e Google hanno iniziato a implementare i loro modelli linguistici AI GPT-4 e PaLM per riassumere ed elaborare gli esiti della ricerca. Questo riduce la precedente selezione dei risultati (pre-ordinati dall’algoritmo di ranking, ma ancora disponibili) a un risultato facilmente consumabile e di portata selezionabile. Un’enorme semplificazione a favore di un notevole risparmio di tempo nella ricerca su Internet, ma a scapito di una varietà di possibili risultati (controversi).
Chiunque abbia fatto una prima esperienza di utilizzo di ChatGPT noterà in molte risposte testuali a domande di conoscenza su argomenti controversi un presunto equilibrio. L’opinione dettagliata della maggioranza è accompagnata da un’aggiunta che afferma ovviamente l’esistenza di altre opionioni. Le contraddizioni politiche, che esistevano ancora nei risultati di ricerca (contraddittori), sono ora risolte con una diversità di profondità predefinita dal modello linguistico. Ne consegue un riduzionismo politicamente discutibile che, va notato, si basa su un modello linguistico(!). Non è basato sulla conoscenza, ma è puramente determinato statisticamente a causa della mancanza di comprensione dei significati dei termini.
In futuro, questi commenti “critici” saranno conteggiati come cosiddetta alfabetizzazione mediatica e svaniranno nel nulla (come tutto il resto nel mondo dei modelli linguistici). Chi è che clicca su interminabili elenchi di risultati di ricerca quando le ricerche di Google o Bing riassumono le cose “più importanti” per noi? (16)
IL PASSATO PROIETTATO NEL FUTURO
ChatGPT è un pappagallo stocastico: assembla (arbitrariamente) sequenze di forme linguistiche che ha osservato nei suoi ampi dati di addestramento, sulla base del combinarsi di informazioni probabilistiche, ma senza alcun riferimento al loro significato. Un pappagallo di questo tipo riproduce e rafforza non solo i pregiudizi dei dati di addestramento distorti, ma anche le visioni del mondo egemoniche di quei dati di addestramento. Le condizioni sociali del passato dei dati di formazione si perpetuano nel futuro. La ricombinazione delle voci di conoscenza statisticamente dominanti nei dati di formazione, insite nei modelli linguistici, ha un effetto di conservazione e stabilizzazione delle condizioni – un cosiddetto value lock, il blocco dei valori nel senso di una minaccia di stagnazione politica (17).
Purtroppo, le condizioni per un tale rafforzamento dell’egemonia sono solo marginalmente (co)determinate dalla società. Il complesso sistema di preparazione dei dati di addestramento, la regolazione dei parametri del modello linguistico e la successiva censura dei risultati (tutti sotto il controllo di aziende private orientate al profitto) determinano il peso delle nuove conoscenze. Ciò significa che l’alto ostacolo di una sufficiente rilevanza statistica dei contributi al dibattito emancipatorio si trova al di fuori della co-determinazione sociale organizzata democraticamente. In vista di una chiara deriva politica verso destra da parte di tecnocrati chiave del modello di business dell’IA (come Sam Altman, Elon Musk, Peter Thiel, …), queste non sono condizioni accettabili per uno sviluppo socialmente progressista.
PERDITA DI DIVERSITÀ E DERIVA A DESTRA
Il rafforzamento dell’egemonia intrinseca dei modelli linguistici di grandi dimensioni, attraverso una ridigestione auto-rinforzata dei propri risultati come input per il successivo addestramento del modello, comporta una perdita di diversità di opinioni (vedi figura a sinistra+centro).
Inoltre, il già citato favoreggiamento (in termini di portata e velocità di diffusione) dei contenuti cospiratori e populisti (di destra) nei social media porta a un pregiudizio politico di destra nei dati di addestramento della prossima generazione di modelli linguistici. Di conseguenza, ci aspettiamo una perdita di diversità a destra nella sovrapposizione di entrambi gli effetti (figura a destra).
Una tale deformazione degli spazi del discorso pubblico attraverso l’interazione di grandi modelli linguistici con i social media a favore di:
a) una diversità di opinione egemonica-conservatrice
b) una posizione centrale di potere di un oligopolio tecnologico, che codifica algoritmicamente il pregiudizio, deve essere respinta come un passo indietro e un vicolo cieco politico dalla prospettiva di una posizione progressista.
È improbabile che l’inadeguatezza della nuova infrastruttura informativa emergente, costituita da grandi modelli linguistici + piattaforme di social media + algoritmi di ricerca, possa essere attenuata da una moderazione dei contenuti socialmente legittimata e più equilibrata.
Un approccio emancipatorio a una critica fondamentale della tecnologia non deve rimanere al livello delle correzioni cosmetiche di una “valutazione della tecnologia” priva di significato. Invece di accettare acriticamente i grandi modelli linguistici come inevitabile progresso tecnologico, dovremmo chiederci se, e non come, dovremmo accettare socialmente queste tecnologie. Le conseguenze sociali a lungo termine di questi modelli all’interno di un sistema dominante di raccomandazione e assistenza decisionale dell’IA, in particolare per il processo decisionale politico, non compaiono nemmeno nella ricerca sulla sicurezza tecnica dei sistemi di IA, oggi universalmente considerata “difficile da quantificare”(18).
Dovremmo allineare il nostro atteggiamento verso gli effetti politicamente dannosi dei modelli linguistici basati sull’IA con quello verso i sistemi d’arma autonomi basati sull’IA: perché una società dovrebbe accettare un “progresso” tecnologico così arretrato?
“Marx dice che le rivoluzioni sono la locomotiva della storia mondiale. Ma forse è completamente diverso. Forse le rivoluzioni sono la presa del genere umano che viaggia in questo treno per il freno d’emergenza. ” (Walter Benjamin)(19)
(1) https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html
(2) Un programma informatico che comunica nel modo più simile possibile a un essere umano.
(3) La psicologia parla più precisamente di “confabulazioni”.
(4) Alemohammad et al, Self-Consuming Generative Models Go MAD, 2023, https://arxiv.org/abs/2307.01850
(5) https://www.newsguardtech.com/de/special-reports/newsbots-vermehrt-ai-generierte-nachrichten-webseiten/
(6) https://www.theguardian.com/books/2023/sep/20/amazon-restricts-authors-from-self-publishing-more-than-three-books-a-day-after-ai-concerns
(7) https://www.youtube.com/watch?v=DgYCcdwGwrE
(8) https://developers.google.com/search/blog/2023/02/google-search-and-ai-content?hl=de
(9) L’ampia censura dei dati di addestramento e dell’output dei modelli linguistici cinesi rappresenta un importante svantaggio competitivo a causa della conseguente restrizione del database. Un altro ostacolo è rappresentato dall’hardware. Le normative statunitensi impediscono l’esportazione in Cina dei più recenti chip di intelligenza artificiale di Nvidia e altri. Questi chip sono (attualmente) fondamentali per lo sviluppo e il miglioramento dei modelli di IA.
(10) https://the-decoder.de/leaks-zeigen-gpt-4-architektur-datensaetze-kosten-und-mehr/
(11) https://www.vox.com/2016/6/6/11840936/elon-musk-tesla-spacex-mars-full-video-code
(12) https://www.theguardian.com/technology/2023/apr/27/elon-musks-statements-could-be-deepfakes-tesla-defence-lawyers-tell-court
(13) Il “dividendo della menzogna” è un termine coniato da Robert Chesney e Danielle Citron nella loro pubblicazione del 2018 Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security. In essa descrivono le sfide che i deepfakes pongono alla privacy, alla democrazia e alla sicurezza nazionale. L’idea centrale è che il grande pubblico sta diventando consapevole di quanto sia facile falsificare materiale audio e video e che questo scetticismo può essere usato come un’arma: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3213954
(14) Un esempio è la politica di Vladislav Surkov, lo spin doctor di Putin. https://www.nytimes.com/2014/12/12/opinion/russias-ideology-there-is-no-truth.html
(15) Aral, S. (2018): The spread of true and false news, Science 359,1146-1151(2018), https://www.science.org/doi/10.1126/science.aap9559
(16) Anche Alexa, il software di riconoscimento e controllo vocale di Amazon, promuove questo riduzionismo, poiché nessuno vuole che Alexa legga un lungo elenco di voci di ricerca. Tuttavia, le ricerche su Google tramite Alexa sono molto meno popolari a causa dell’output vocale, spesso poco utile, di un risultato in cima alla lista.
(17) Bender et al: On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (2021) https://dl.acm.org/doi/pdf/10.1145/3442188.3445922
(18) Si veda anche: Nudging – la dimensione politica dell’assistenza psicotecnologica, DISS Journal#43 (2022) http://www.diss-duisburg.de/2022/08/nudging-die-politische-dimension-psychotechnologischer-assistenz/
(19) Walter Benjamin: MS 1100, in: Ders: Gesammelte Schriften. I, a cura di R. Tiedemann e H. Schweppenhäuser, Francoforte sul Meno: Suhrkamp 1974, 1232.