L’esplosione dell’attenzione sull’intelligenza artificiale generativa che ha seguito i modelli generativi di immagini e soprattutto testuali come ChatGPT ha amplificato l’attenzione e gli investimenti non solo sul software ma anche sui chip collegati all’intelligenza artificiale.
Ci si può chiedere quale sia il carico computazionale di un algoritmo generativo come quello di ChatGPT, sia in termini di capacità di calcolo che richiesta di memoria. È possibile farsi un’idea guardando il progetto open GPT-J, un modello aperto con capacità ed API molto simili a quelli di OpenAI.
Dammi un chip e ti solleverò il mondo: ecco lo scacchiere dei rapporti tra Paesi
Anche la capacità non è da sottovalutarsi come mostra il benchmark LAMBADA in cui si vede come le prestazioni siano vicine al modello GPT-3 Curie, il secondo modello in termini di prestazioni dei modelli di GPT-3.
Su GitHub è disponibile un progetto che consente l’esecuzione del modello GPT-J in un container docker, e come si può notare dalla pagina del progetto l’esecuzione del modello richiede una GPU nVidia P100 e almeno 16GB di memoria video. E stiamo parlando di un modello più piccolo rispetto a quello di GPT-3 Davinci, e GPT-4 dovrebbe usare un numero di parametri oltre 50 volte superiore a quello del predecessore.
Da questi dati è evidente come questi algoritmi di intelligenza artificiale siano per ora avidi di risorse computazionali, e si tratta di modelli per ora difficili da implementare in silicio, e la loro crescita non mostra segni di rallentamento.
Ecco quindi che gli acceleratori capaci di accelerare il calcolo tensoriale svolgeranno un ruolo sempre più rilevante nel prossimo futuro. Gli acceleratori includono le GPU di nVidia, Intel e AMD (anche se Intel ha appena annunciato la cancellazione della linea di prodotto delle GPU). Processori specializzati come le TPU di Google accelerano task specifici, mentre i chip neuromorfici di IBM come Telum cercano di offrire un supporto hardware per le Deep Neural Network.
Le startup di chip AI
Sebbene i grandi modelli oggi siano eseguiti con l’ausilio di acceleratori piuttosto che da chip dedicati, varie startup stanno attraendo ingenti investimenti per la creazione di chip AI per supportare compiti meno ambiziosi dell’AI generativa.
L’implementazione in hardware di reti neurali non è un fatto nuovo, alcune schede di puntamento usato in sistemi di armamento facevano uso di reti neurali in hardware già negli anni ’80, ma la grande capacità di integrazione di oggi rende decisamente attraente questo mercato.
In accordo a Reuters sono degne di nota cinque startup che hanno ricevuto ingenti investimenti negli ultimi 10 anni.
SambaNova
SambaNova ha ricevuto molta attenzione grazie al processore SN10, un processore riconfigurabile per adattare in modo efficiente algoritmi grazie ad un’architettura a tiles la cui struttura di calcolo SIMD è programmabile.
Cerebra Systems
I processori WSE-1 e WSE-2 di Cerebra Systems hanno trovato applicazioni nel campo del calcolo genomico nel settore della farmaceutica con compagnie come AstraZeneca che hanno fatto uso delle tecnologie.
Graphcore
Graphcore sviluppa processori AI per il mercato degli storage ed ha costruito partnership con aziende come DDN, PureStorage e VastData. L’uso di tecniche di intelligenza artificiale può contribuire ad ottimizzare funzioni specifiche degli storage e abbassare il consumo energetico al crescere delle moli di dati.
Groq
Groq è stata fondata da ex-impiegati Google allo scopo di sviluppare un’architettura disegnata per implementare in modo efficiente reti neurali. Recentemente la compagnia ha acquisito Maxeler, una compagnia che realizza soluzioni HPC per il mercato finanziario, indicando un certo interesse nell’applicare la propria tecnologia nel mondo della finanza ad alte prestazioni.
Mythic
Mythic realizza processori per accelerare l’inferenza necessaria per l’intelligenza artificiale, offrendo soluzioni anche adatte alle applicazioni IoT.
Molte altre compagnie stanno lavorando a chip specifici per l’implementazione di funzioni di intelligenza artificiale, e soprattutto dopo la ribalta di ChatGPT gli investimenti nel settore sono esplosi, nonostante la crisi del settore IT che ha recentemente portato al fallimento della banca della Silicon Valley.
Un futuro di silicio
Le architetture modulari e specializzate stanno emergendo in risposta alla necessità di rendere più efficienti i sistemi di calcolo. Ma come ha mostrato nVidia in oltre 10 anni di sviluppo il fattore chiave per far emergere una tecnologia di accelerazione è il sistema di sviluppo che consenta l’implementazione del software. Per ora non si vedono nuove piattaforme all’orizzonte capaci di emergere, e probabilmente in questo momento di sviluppo delle tecnologie tende a prevalere la flessibilità rispetto all’ottimizzazione. Finché vedremo questi modelli crescere significativamente acceleratori più tradizionali sembrano essere più promettenti di soluzioni verticali.
Resta comunque un mercato da tenere sotto controllo, soprattutto nella realizzazione di chip con soluzioni di intelligenza artificiale più consolidate che possano essere integrate in dispositivi mobili grazie ad un ridotto assorbimento energetico.
