L’IA ha già raggiunto il massimo del suo sviluppo? Ecco tutti i limiti tecnici e naturali

Sembra che lo sviluppo dell’intelligenza artificiale sia su una traiettoria esponenziale inarrestabile che noi umani semplicemente non possiamo fermare. Tuttavia, dobbiamo per onor di valutazione oggettiva, considerare anche l’opinione di alcuni studiosi che dicono che si stiano raggiungendo alcuni limiti tecnici o naturali non superabili.

In particolare l’addestramento sembra migliorare sempre più lentamente, nonostante i dati disponibili e la potenza di calcolo in aumento.

L’AI ha raggiunto il plateau? Il parere degli esperti

Alcuni studiosi, tra cui Richard Self membro del Data Science Research Centre at University of Derby, dicono: “OpenAI è molto riservata su come sviluppa le sue IA, ma gli esperti hanno indagato e hanno scoperto che ChatGPT 3 utilizza un set di dati di addestramento circa 78 volte più grande di ChatGPT2 e ChatGPT4 utilizza un set di dati 571 volte più grande di ChatGPT3! Tuttavia, nonostante questo notevole aumento delle dimensioni del set di dati di addestramento, ChatGPT4 presenta ancora difetti significativi che limitano significativamente i suoi casi d’uso”.

“Inoltre, alcune stime indicano che il set di dati di addestramento grezzo di ChatGPT4 è di 45 TB di testo in chiaro. Ciò significa che affinché la prossima iterazione sia un miglioramento così grande come lo è stato ChatGPT4 rispetto a ChatGPT3, il set di dati di addestramento di ChatGPT5 dovrebbe essere di decine di migliaia di TB”. Ovvero oltre il disponibile nel web.

Oltre ai limiti associati ai dati di addestramento vengono evidenziati anche limiti associati alla CO2 emessa in fase di addestramento a seguito della potenza di calcolo in uso.

“L’energia elettrica necessaria per addestrare questi sistemi più grandi sta aumentando in modo esponenziale per miglioramenti percentuali molto piccoli. Uno studio dell’Università del Massachusetts Amherst ha esaminato i costi di calcolo e di energia associati al miglioramento delle prestazioni dell’IA per il riconoscimento delle immagini con una precisione superiore al 95%. Hanno scoperto che l’addestramento di un tale modello costerebbe 100 miliardi di dollari e produrrebbe tante emissioni di carbonio quanto New York City in un mese. Tenendo presente che questo consumo manterrebbe comunque un errore del 5%”.

Di questo possibile plateau ha parlato anche Bill Gates a novembre 2023.

IA, sta arrivando un nuovo inverno: previsioni e prospettive di Luciano Floridi

Non siamo qui a parteggiare per il partito dell’AGI entro il 2025 o per quello del plateau, semplicemente l’obiettivo è quello di essere pronti a tutti gli scenari.

Citando Luciano Floridi che ci ha gentilmente concesso di tradurre e pubblicare alcune parti del suo paper(1) di cui parleremo tra poco, “Sì, l’inverno dell’IA sta arrivando, la domanda è: chi rimarrà fuori al freddo dopo aver investito enormi risorse?” E aggiungiamo: chi saprà trarne il meglio rimanendo bilanciato sia nell’entusiasmo forse eccessivo attuale che nella delusione forse eccessiva che potrebbe causare un eventuale altro inverno?

In particolare Floridi inizia il paper con un concetto molto chiaro:

“Il problema delle metafore stagionali è che sono cicliche. Se si dice che l’intelligenza artificiale (AI) ha superato un brutto inverno con questa nuova estate, bisogna anche ricordare che l’inverno tornerà e sarà meglio essere pronti. L’inverno dell’intelligenza artificiale è quella fase in cui la tecnologia, l’economia e i media escono dal loro periodo di interesse e fiducia quasi dogmatica e, si calmano e riducono l’attenzione, riducono le loro speculazioni o aspettative fantascientifiche e le illusioni irragionevoli, e si confrontano con ciò che l’IA può o non può davvero fare come tecnologia. Gli investimenti diventano più attenti e i giornalisti smettono di scrivere di IA per inseguire altri argomenti alla moda.”

Pensiamo al periodo NFT, poi al periodo Metaverso. Sembrava ci fossero solo quei temi di cui parlavano neofiti, presunti esperti, giornali, per poi sparire tutto arrivata l’AI.

“Il rischio di ogni estate di AI è che le aspettative esagerate si trasformino in una distrazione di massa. Il rischio di ogni inverno dell’IA è che il contraccolpo derivante dalla delusione sia eccessivo e che le soluzioni potenzialmente valide vengano buttate via con l’acqua sporca.”

Un po’ come le aspettative sui mercati finanziari che passano dall’eccesso di euforia e acquisti all’eccesso di delusione e vendite, secondo onde definite proiezioni di Fibonacci. Se volessimo misurare l’entusiasmo del pubblico per l’AI, potremmo ad esempio guardare il grafico di NVDA (Nvidia) sul Nasdaq e capire che è in fase di pausa dopo una spinta quasi ininterrotta da 80 a 900 dollari in due anni.

Prosegue Floridi: “Abbiamo problemi planetari, come il riscaldamento globale, l’ingiustizia sociale e le migrazioni, che richiedono gradi di coordinamento sempre più elevati per essere risolti. Abbiamo bisogno di tutta la tecnologia che possiamo conoscere e utilizzare per affrontare queste sfide, e di tutta l’intelligenza umana per utilizzare in pratica questa tecnologia al servizio di un futuro migliore. L’intelligenza artificiale può svolgere un ruolo importante in tutto questo perché abbiamo bisogno di modi sempre più intelligenti di elaborare immense quantità di dati, in modo sostenibile ed efficiente. Ma l’IA deve essere trattata come una normale tecnologia, non come un miracolo o come una piaga: è come una delle tante soluzioni che l’ingegno umano ha saputo escogitare.”

“Non dimentichiamo che l’inverno dell’IA se arriverà non deve essere l’inverno delle sue opportunità. Di certo non sarà l’inverno dei suoi rischi o delle sue sfide. Dobbiamo chiederci se le soluzioni di intelligenza artificiale sostituiranno davvero le soluzioni precedenti, come ha fatto l’automobile con la carrozza, le diversificheranno, come ha fatto la motocicletta con la bicicletta, oppure le integreranno e le amplieranno, come ha fattolo smartwatch rispetto all’orologio analogico.”

E Floridi ne parlava nel 2020.

Verso un approccio saggio all’AI: tra hype e ridimensionamento delle aspettative

Come per ogni tecnologia, i saggi studiano e imparano e ne prendono il buono, sia in fase di hype che in fase di eventuale ridimensionamento delle aspettative, ed evolvono grazie alle nuove opportunità.

Quindi sebbene siamo nel mezzo dell’estate con AI-temperature di 50 o 60 gradi, dobbiamo ricordarci che prima c’era la primavera e poi potrebbe esserci l’inverno. L’importante è capire questa tecnologia e saperla usare al meglio, qualunque sia la stagione della tecnologia o l’interesse datogli a livello generale.

In particolare dobbiamo tenere presente la primavera dell’AI, ovvero cosa serve per poter utilizzare l’AI al meglio, cosa ognuno di noi può davvero fare che non è progettare LLM o costruire cpu (entrambi si comprano o usano) ma lavorare per avere dati di qualità. Ma non solo, come riassunto in questo articolo e in questa rappresentazione.

1. Floridi, L. AI and Its New Winter: from Myths to Realities. Philos. Technol. 33, 1–3 (2020).