I CERCATORI D’ORO DELL’AI (IT/EN) – THE BLACKWAVE COLLECTIVE

Traduciamo questo testo pubblicato da Capulcu

Alla fine di maggio 2023, è stata pubblicata una breve dichiarazione (1) che avverte dell’estinzione dell’umanità attraverso l’intelligenza artificiale. La dichiarazione include le firme di luminari della ricerca sull’IA, amministratori delegati di aziende di IA come OpenAI e altre figure di spicco del settore tecnologico. Questo avvertimento apocalittico è l’ultimo di una serie di dichiarazioni simili (2) da parte di persone e di istituzioni dei suddetti ambienti. Eric Schmidt, ex-CEO di Google e ora consulente del governo, mette in guardia da migliaia di morti. Sam Altman, CEO di OpenAI, l’azienda che ha sviluppato ChatGPT, implora il governo degli Stati Uniti di emanare regolamenti per il settore. (3)

È un po’ sorprendente che siano proprio coloro che lanciano l’allarme contro una tecnologia che hanno contribuito a portare allo stato attuale con il potere e con un sacco di soldi. Sembrano come l’apprendista stregone di Goethe che non riesce più a controllare gli spiriti che ha invocato. Niente di più sbagliato.

Il potere di questo software sembra aver superato una soglia. L’intelligenza artificiale non è più percepita come un tentativo carino e degno di scherno o come un risultato degno di nota in un piccolo angolo nerd del mercato, ma piuttosto come il suo opposto: una tecnologia ben avviata a superare l’umanità in termini di intelligenza. Tanto che un ingegnere di Google, coinvolto nel suo sviluppo, non ha potuto fare a meno di affermare che la “sua” IA aveva sviluppato una coscienza. Google era così a disagio che ha deciso di licenziarlo.

ChatGPT, in quanto IA che genera testo, e altre IA che generano immagini (ad esempio Midjourney), sono prodotti di punta per gli industriali. Senza di loro, la reazione a volte entusiasta, a volte allarmata del pubblico nei confronti dell’IA non ci sarebbe stata. AlphaGo, un’intelligenza artificiale che ha ripetutamente battuto il campione del mondo in carica nel gioco del Go, non era sufficiente. Gli avvertimenti apocalittici provenienti dalla scena dell’IA richiamano proprio questo stato d’animo. La loro distopia di una tecnologia sovrastante che spazza via l’umanità sottolinea essenzialmente una cosa: il potere di questa tecnologia. L’aspetto apocalittico serve come distrazione per distogliere l’attenzione dalle eccessive esagerazioni e, in aggiunta, come avvertimento per portare la reputazione di una coscienza critica e riflessiva nell’equazione – i CEO preoccupati per il benessere dell’umanità. Non si tratta affatto di un avvertimento e non si tratta certo del bene dell’umanità, ma di una precisa proposta di vendita: fatene parte, sfruttate questo potere sovrumano, investite ora o almeno sottoscrivete un abbonamento premium!

L’atmosfera da corsa all’oro è palpabile. L’invito ai governi a regolamentare questa tecnologia può confondere, ma è logico. I regolamenti non sono necessariamente dannosi per il settore, anzi. Esse livellano il campo di gioco e creano chiarezza, prevedibilità e sicurezza negli investimenti, e possono essere utilizzate per ostacolare l’ingresso sul mercato dei ritardatari (ad esempio la Cina). Inoltre, i regolamenti sarebbero arrivati comunque, quindi dal punto di vista dell’industria è vantaggioso prendere l’iniziativa.

C’è un altro aspetto: le autorità di regolamentazione non hanno le competenze necessarie. Tuttavia, questo vale praticamente per tutte le tecnologie il cui uso è regolamentato: la competenza deve venire dall’esterno. Nel caso dell’IA in particolare, tuttavia, questa competenza è altamente concentrata e lo sviluppo è essenzialmente guidato dai dipartimenti di ricerca delle grandi aziende. Le competenze per la regolamentazione provengono quindi dall’industria stessa che deve essere regolamentata, e i conflitti di interesse sono inevitabili. Per le aziende tecnologiche, queste sono le migliori condizioni di partenza per far passare una quasi-autoregolamentazione nel loro interesse. Per inciso, questo schema non è nuovo, anzi si ritrova in molti processi simili, e non solo negli Stati Uniti. Ciò che forse non è nuovo, ma che questa volta colpisce particolarmente, è l’urgenza con cui la questione si presenta.

La critica di Sam Altman ai regolamenti dell’UE sull’IA lo evidenzia. Dopo un’intensa attività di lobbying, OpenAI e Google sono riusciti a far uscire le applicazioni di IA “generiche” come ChatGPT dalla categoria delle tecnologie ad alto rischio, che è soggetta a condizioni rigorose. Per questi casi è stata invece creata una nuova categoria di “modelli di base” con requisiti più morbidi (4). Per Altman, i regolamenti non sono dannosi per le imprese.

Un effetto collaterale dell’urgenza suggerita è la creazione dell’impressione che sia emerso qualcosa di nuovo. Tuttavia, l’IA ha alle spalle decenni di storia. AlphaGo mi è già venuto in mente. Il riconoscimento facciale basato sull’IA è presente, ad esempio, nei sistemi di accesso e nelle telecamere di sorveglianza, come quelle della Südkreuz di Berlino, che notoriamente non sono in grado di riconoscere le persone con la pelle non bianca. Anche i sistemi di riconoscimento delle frodi si basano sull’intelligenza artificiale e hanno causato diversi scandali disastrosi in questo settore, come ad esempio il caso Toeslagen (5) nei Paesi Bassi. Aziende come Clearview AI o PimEye hanno utilizzato foto di ritratti da Internet per creare database di immagini ricercabili con l’aiuto dell’IA: un’istantanea di una persona può essere sufficiente per scoprirne il nome, il datore di lavoro o l’indirizzo (6) – uno stalkerware, e non solo per le forze dell’ordine. Un elenco più dettagliato si trova nel nostro testo “AI per la disparità di trattamento programmatica” (7). Questa eredità oscura l’accettazione.

L’oro che i cercatori d’oro dell’industria tecnologica sperano di trovare è il dividendo dell’automazione. L’IA promette di automatizzare processi che finora ci sono sfuggiti con successo. In uno studio (8) sull’impatto dell’IA, Goldman Sachs stima che il 66% di tutti i posti di lavoro negli Stati Uniti sarà interessato. Il 25-50% dei compiti potrebbe essere affidato all’IA. Altri studi (9) arrivano a cifre simili. La prospettiva di questo aumento di produttività sostiene le attività sopra menzionate.

Alla fine del XIX e all’inizio del XX secolo, Frederick Taylor, tra gli altri, sviluppò e rese popolare un metodo che in seguito divenne noto come “Scientific Management” o meglio “Taylorismo”. L’obiettivo dichiarato di questo metodo era quello di rendere il lavoro più efficiente per ottenere maggiori prestazioni da ogni lavoratore. Si trattava di documentare, analizzare e ottimizzare meticolosamente i processi di lavoro, per poi reinserirli nel processo produttivo in una nuova forma che sostituisse le “inefficienti” procedure e forme di lavoro tradizionali. Gli operai specializzati diventavano lavoratori di massa intercambiabili, appendici delle macchine, che dettavano immediatamente il ciclo di lavoro.

La componente centrale di questo metodo era il trasferimento delle conoscenze dagli operai specializzati ai tecnici. Era possibile utilizzare queste conoscenze senza fare affidamento sulle persone da cui provenivano. Il trasferimento era essenzialmente un trasferimento di potere su queste conoscenze. Il risultato è stato l’esautorazione dei lavoratori qualificati nel processo produttivo, la dequalificazione del lavoro e quindi il deterioramento delle condizioni di negoziazione, ad esempio per quanto riguarda le richieste salariali o la salute e la sicurezza sul lavoro. Un passaggio analogo si verifica quando si forma un’IA.

Il taylorismo è nato cento anni fa e i computer non sono un’invenzione recente. Affinché i processi del mondo “analogico” possano essere rappresentati ed eseguiti in un PC, devono essere tradotti in una serie di regole o istruzioni dettagliate, simili a quelle della “gestione scientifica”. A seconda del processo o del problema in esame, questo funziona in misura diversa. C’è un “resto” che non può accettare la formalizzazione; il risultato si adatta al problema solo in modo imperfetto. In altri casi, è difficile stabilire come formalizzare un problema.

La formalizzazione è una sorta di passo di traduzione necessario. Rende un compito “compatibile con il computer”: un passaggio eseguito dall’uomo. Per le IA della generazione attuale, non viene fatto alcun tentativo di formalizzare un compito. L’IA si sottopone a un processo di prove ed errori per familiarizzare con il compito, con costi enormi. Il computer stesso esegue la fase che rende il compito compatibile con il computer. I dati di addestramento vengono “masticati” (10) finché l’IA non è in grado di imitare o riconoscere in modo plausibile le proprietà contenute nei dati di addestramento in misura soddisfacente.

Durante l’addestramento, emerge un tipo di estratto stocastico dei dati di addestramento, un tensore di trilioni di numeri che si forma nella memoria principale dell’IA. Quali aspetti dei dati di addestramento vengono estratti dipende dal progetto di addestramento, dalla topologia dell’IA, dalla preparazione dei dati di addestramento grezzi e da altre misure di accompagnamento. Il fattore decisivo è che le informazioni necessarie per un’imitazione o un riconoscimento plausibile finiscano nel tensore – in senso lato, la “conoscenza”. Questo trasferimento di conoscenza al tensore può essere giudicato – dopo tutto, l’imitazione è diversa dalla comprensione – ma permette di “riprodurre” senza dover ricorrere alle persone da cui proviene la conoscenza. Questo trasferimento è alla base del dividendo dell’automazione.

Anche la formalizzazione utilizzata nella programmazione classica attua un trasferimento del potere di disposizione, ma questo comporta un lavoro manuale o piuttosto mentale ed è quindi difficile da scalare. L’IA promette di saltare questa fase di formalizzazione e di trasformare il trasferimento in un processo automatizzabile e quindi scalabile – e questo è il salto di qualità nell’espropriazione della “conoscenza”.

Sebbene l’esclusione della formalizzazione per trasferire un compito a un computer renda possibile l’apertura di nuove aree di applicazione, comporta alcuni svantaggi. La formalizzazione presuppone che un problema debba essere compreso fino all’ultimo dettaglio – il fatto che si verifichino errori e fraintendimenti non è una contraddizione, il cui esito dipenderà esclusivamente dall’impatto (positivo) sul risultato aziendale.

Con l’IA, l’addestramento sostituisce la comprensione; in definitiva, l’addestramento è un colpo di fortuna. L’entusiasmo di molti ingegneri per ChatGPT e altre IA riflette la loro sorpresa per quanto questo colpo sembra aver funzionato.

L’estratto dei dati di addestramento non mostra cosa ha estratto esattamente, cosa ha “imparato” l’IA. Di conseguenza, l’output prodotto da un’IA è soggetto a errori. Il campo di applicazione dell’IA è quello in cui gli errori sono “tollerabili” o in cui competono con il lavoro umano, anch’esso soggetto a errori. Oppure compete con le attività creative in senso lato, che non sono binariamente giuste o sbagliate, ma migliori o peggiori. In definitiva, si tratta di una ponderazione economica di costi e benefici, il cui esito dipende esclusivamente dall’impatto (positivo) sul risultato aziendale.

Il risultato è molto cinico: se un sistema di rilevamento delle frodi sociali commette errori e accusa le persone sbagliate (e di conseguenza rifiuta di pagare i sussidi). Questo colpisce persone che non sono in grado di difendersi da sole. Anche se le IA forniscono risultati tecnici scadenti, esse (o meglio coloro che le utilizzano) creano una pressione competitiva su lavoratori e dipendenti, che può avere conseguenze, tra l’altro, nella contrattazione collettiva. La risposta di Netflix allo sciopero di attori e scrittori di Hollywood, che vogliono impedire l'”utilizzo secondario” del loro lavoro attraverso contenuti “generati” (o meglio: copiati) dall’IA, ne dà un’idea: Netflix pubblicizza una posizione ben retribuita per un “AI Product Manager”, per “tutti i settori”, che comprende proprio questo sfruttamento secondario. (11)

Come nel caso del taylorismo, l’IA porterà a uno spostamento del potere sociale “verso l’alto”, seguito e rafforzato da una corrispondente redistribuzione della ricchezza nella stessa direzione. L’IA agisce come un amplificatore della disuguaglianza sociale. L’enorme quantità di risorse richieste dalla tecnologia dell’IA – dati di formazione, energia, acqua e hardware ad alte prestazioni – mette in dubbio la “democratizzazione” di questa tecnologia. Far funzionare il proprio server web o di posta su Internet può non essere banale, ma è sicuramente alla portata dei comuni mortali. Lo stesso non può valere per l’IA nel prossimo futuro: rimarrà uno strumento dei potenti.

Anche se fosse possibile immaginare un’applicazione socialmente sensata in uno scenario ipotetico, la realtà sociale attuale consiste quasi interamente in applicazioni a danno di una grande maggioranza di persone, il che riflette l’attuale distribuzione sociale del potere.

Nella migliore tradizione luddista, dobbiamo chiederci chi utilizza l’IA per quale scopo e se i risultati sono socialmente ed ecologicamente desiderabili. La risposta a questa domanda è chiaramente negativa.

(1) https://www.safe.ai/statement-on-ai-risk

(2) https://futureoflife.org/open-letter/pause-giant-ai-experiments/ https://www.cold-takes.com/ai-could-defeat-all-of-us-combined/

(3) https://www.c-span.org/video/?528117-1/openai-ceo-testifies-artificial-intelligence

(4) https://time.com/6288245/openai-eu-lobbying-ai-act/

(5) https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/

(6) https://www.nytimes.com/2020/01/18/technology/clearview-privacy-facial-recognition.html

(7) https://capulcu.blackblogs.org/wp-content/uploads/sites/54/2020/06/DIVERGE-small.pdf – da pagina 33

(8) https://www.key4biz.it/wp-content/uploads/2023/03/Global-Economics-Analyst_-The-Potentially-Large-Effects-of-Artificial-Intelligence-on-Economic-Growth-Briggs_Kodnani.pdf

(9) https://arxiv.org/abs/2303.10130

(10) Un’introduzione leggibile su come funzionano le IA di tipo ChatGPT e su cosa si intende esattamente per “masticare”: https://arstechnica.com/science/2023/07/a-jargon-free-explanation-of-how-ai-large-language-models-work/

(11) https://theintercept.com/2023/07/25/strike-hollywood-ai-disney-netflix/

PDF da scaricare: https://capulcu.blackblogs.org/wp-content/uploads/sites/54/2023/10/KI-Goldgraeber.pdf

The gold diggers of artificial intelligence

At the end of May 2023, a short statement (1) published warning of the extinction of humanity through artificial intelligence. The Statement includes the signatures of luminaries of AI research, CEOs of AI companies like OpenAI and other prominent figures in the tech sector. This apocalyptic warning is the latest in a series of similar statements (2) by people and institutions from the said circles. Eric Schmidt, ex-CEO of Google and now government advisor, warns of thousands of deaths. Sam Altman, CEO of OpenAI, the company that developed ChatGPT, implores the US government to enact regulations for the industry. (3)

It is somewhat surprising that those who are warning against a technology that they have brought to its current state with power and a lot of money are the ones doing so. They seem like Goethe’s sorcerer’s apprentice who can no longer control the spirits he called. Nothing could be more wrong.

The power of this software seems to have crossed a threshold. AI is now no longer perceived as a cute attempt worthy of ridicule or as a noteworthy achievement in a nerdy little corner of the market but rather as its opposite. A technology well on its way to surpassing humanity in terms of intelligence. So much so that an engineer at Google, who was involved in its development, could not be dissuaded from claiming that “his” AI had developed a consciousness. Google was so uncomfortable with this that he cancelled his job.

ChatGPT, as a text-generating AI and other image-generating AIs (e.g. Midjourney), showcase products for the industry. Without them, the sometimes enthusiastic, sometimes alarmed public reaction to AI would not have happened. AlphaGo, an AI that has repeatedly beaten the reigning world champion in the game of Go, was not enough. The apocalyptic warnings from the AI scene echo precisely this sentiment. Their dystopia of an overpowering technology that wipes out humanity essentially emphasises one thing: the power of this technology. The apocalyptic flair serves as a distraction to divert attention from the excessive exaggerations and, on top of that, as a warning insider to bring the reputation of a critical and reflective consciousness into the equation – CEOs concerned about the well-being of humanity. It is by no means a warning and certainly not about the good of humankind, but a specific sales pitch: be part of it, utilise this superhuman power, invest now or at least take out a premium subscription!

The gold-rush mood is palpable. The call for governments to regulate this technology may be confusing, but it is logical. Regulations are not necessarily harmful to the industry, far from it. They level the playing field and create clarity, predictability and investment security, and can be used to put barriers in the way of latecomers entering the market (e.g. China). In addition, regulations would have come anyway, so from the industry’s point of vision, it is advantageous to take the initiative here.

There is another aspect: the regulatory authorities lack the necessary expertise. However, this applies to practically all technologies whose use is regulated – the expertise has to come from the outside. In the case of AI in particular, however, this expertise is highly concentrated, with development essentially being driven by the research departments of large corporations. The expertise for regulation thus comes from the very industry that is to be regulated, and conflicts of interest are inevitable. For tech companies, these are the best starting conditions for pushing through quasi-self-regulation in their interests. Incidentally, this pattern is not new – indeed, it is found in many similar processes – and not just in the USA. What may not be novel but is particularly striking this time is the urgency with which the issue comes forward.

Sam Altman’s criticism of the EU’s AI regulations highlights this. After intensive lobbying, OpenAI and Google have succeeded in getting “general-purpose” AI applications such as ChatGPT out of the category of high-risk technologies, which is subject to strict conditions. Instead, a new category of “foundation models” was created for these cases with softened requirements (4). For Mr Altman, regulations are not damaging to business.

One side effect of the suggested urgency is the creation of the impression that something new has emerged. However, AI looks back on decades of history. AlphaGo has already come to mind. There is AI-based facial recognition in access systems, for example, and in surveillance cameras, such as those at Berlin’s Südkreuz, which are notoriously weak at recognising people with non-white skin colour. Fraud recognition systems are also based on AI and have caused several disastrous scandals in this area – the Toeslagen affair (5) in the Netherlands comes to mind, for example. Companies such as Clearview AI or PimEye have used portrait photos from the internet to create image databases that are searchable with the help of AI – a snapshot of a person can be enough to find out their name, employer or address (6) – stalkerware, and not just for law enforcement agencies. A more detailed list can be found in our text “AI for programmatic unequal treatment ” (7). Such a legacy darkens acceptance.

The gold that the tech industry’s gold diggers hope to find is the automation dividend. AI promises to automate processes that have so far successfully eluded us. In a study (8) on the impact of AI, Goldman Sachs estimates that 66% of all jobs in the US will be affected. There, 25-50% of tasks could fall to AI. Other studies (9) arrive at similar figures. The prospect of this productivity increase is supporting the activities mentioned above.

At the end of the 19th and beginning of the 20th century, Frederick Taylor, among others, developed and popularised a method that later became known as “Scientific Management” or better “Taylorism”. The declared aim of this method was to make work more efficient to squeeze more performance out of every worker. This involved meticulously documenting, analysing and optimising work processes and then returning them to the production process in a new form to replace “inefficient” traditional procedures and forms of work. Skilled workers became interchangeable mass workers, appendages of the machines, who immediately dictated the work cycle.

The central component of this method was the transfer of knowledge from the skilled workers to the engineering floor. It was possible to utilise this knowledge without relying on the people from whom the expertise originated. The transfer was essentially a transfer of power over this knowledge. The result was a disempowerment of skilled workers in the production process, a deskilling of labour and thus a deterioration in negotiating conditions when, for example, it came to wage demands or occupational health and safety. A comparable transfer takes place when training an AI.

Taylorism took over a hundred years ago, and computers are not recent inventions. For processes from the “analogue” world to be represented and executed in a PC: they must be translated into a set of detailed rules or instructions, similar to “scientific management”. Depending on the process or problem under consideration, this works to varying degrees. There is a “remainder” that cannot take formalisation; the result then only fits the problem imperfectly. In other cases, it is difficult to determine how to formalise a problem in the first place.

A formalisation is a kind of necessary translation step. It makes a task “computer-compatible”: a human-performed step. For the AIs of the current generation, no attempt is made to formalise a task. AI undergoes a trial-and-error process to familiarise itself with the task at enormous expense. The computer itself carries out the step that makes the task computer-compatible. The training data is “chewed over“ (10) until the AI can plausibly imitate or recognise the properties contained in the training data to a satisfactory degree.

During training, a type of stochastic extract of the training data emerges, a tensor of trillions of numbers that form in the AI’s main memory. Which aspects of the training data we extract depends on the training design, the topology of the AI, the preparation of the raw training data and other accompanying measures. The decisive factor is that the necessary information for plausible imitation or recognition ends up in the tensor – in the broadest sense, the “knowledge”. However, this transfer of knowledge to the tensor may be judged – after all, imitation is different from understanding – it allows “reproduction” without the need to fall back on the people from whom the knowledge originated. This transfer is the foundation of the automation dividend.

Formalisation used in classic programming also implements a transfer of power of disposition, but this involves manual or rather mental work and is, therefore, hard to scale. AI promises to skip this formalisation step and transform the transfer into an automatable and thus scalable process – and that is the qualitative leap in the dispossession of “knowledge”.

Although bypassing formalisation to transfer a task to a computer makes opening up new application areas possible, it comes with certain disadvantages. Formalisation presupposes that a problem must be understood down to the last detail – the fact that errors occur and misunderstandings are detailed is not a contradiction here, whose outcome will depend solely on the (positive) impact on the business result.

With AI, training replaces understanding; ultimately, training is a shot in the dark. The enthusiasm of many engineers for ChatGPT and other AIs reflects their surprise at how well this shot seems to have worked.

The extract of the training data does not show what exactly it extracted – what precisely the AI “learnt”. Accordingly, the output produced by an AI is subject to errors. The AI applications field targets where mistakes are either “tolerable” or where they compete with human labour, which is also error-prone. Or it competes with creative activities in the broadest sense, which are not binary right or wrong, but better or worse. Ultimately, an economic weighing up of costs and benefits occurs here, whose outcome will depend solely on the (positive) impact on the business result.

The result is highly cynical: if a system for detecting social welfare fraud makes mistakes and accuses the wrong people (and subsequently refuses to pay benefits). It affects people who are unable to defend themselves. Even if AIs deliver poor technical results, they (or rather those who use AIs) create competitive pressure on workers and employees, which can have consequences in collective bargaining, among other things. Netflix’s response to the strike by actors and writers in Hollywood, who want to prevent the “secondary utilisation” of their work through AI-“generated” (or rather: copied) content, provides an impression of this: Netflix is advertising a well-paid position for an “AI Product Manager”, for “all areas”, which includes precisely this secondary exploitation. (11)

As with Taylorism, AI will lead to a shift in social power “upwards”, followed and reinforced by a corresponding redistribution of wealth in the same direction. AI acts as an amplifier of social inequality. The enormous amount of resources required by AI technology – training data, energy, water and high-performance hardware – casts doubt on the “democratisation” of this technology. Operating your web or mail server on the internet may not be trivial, but it is definitely affordable for ordinary mortals. The same cannot apply to AI in the foreseeable future; it will remain a tool of the powerful.

Even if it were possible to imagine a socially sensible application in a hypothetical scenario, the current social reality consists almost entirely of applications to the detriment of a large majority of people, which reflects the current social distribution of power.

In the best Luddite tradition, we must ask who uses AI for what purpose and whether the results are socially and ecologically desirable. The answer to this question can clearly be in the negative.