Numerosi ricercatori stanno esplorando gli impieghi delle tecnologie ottiche al fine di poter dotare anche piccoli dispositivi di reti neurali finalizzate a gestire comportamenti complessi come, ad esempio, il controllo autonomo di un drone o di una vettura.
Mentre gli approcci ibridi cominciano a vedere i primi investimenti per trovare un impiego nei sistemi di oggi, altri ricercatori cercano di ottenere risultati analoghi senza l’aiuto degli elettroni. Si tratta di ricerche che potrebbero ridurre ancor di più gli assorbimenti e in qualche modo ridefinire nuovamente il panorama del calcolo a basso consumo energetico.
Ma andiamo per gradi.
L’intelligenza artificiale nei sistemi HPC: cosa sono le Physics-Informed Neural Networks
Indice degli argomenti
La velocità di elaborazione
La continua crescita della velocità dei sistemi è, come sempre, legata ad una crescita nella banda dei dati che si riescono ad elaborare e alla latenza, ovvero il tempo per cui un dato diviene effettivamente usabile da uno stadio di elaborazione. In High Performance Computing (HPC) il tempo di comunicazione è così importante che nei decenni sono state sviluppate infrastrutture di comunicazione dedicate come, ad esempio, le infrastrutture di rete Infiniband o OmniPath, entrambe decine di volte più veloci rispetto alla connessione Ethernet.
La velocità di elaborazione è condizionata dalla latenza in tutti quegli algoritmi che iterativamente elaborano dei dati in parallelo; i risultati ottenuti da ciascuna unità di elaborazione vengono trasmessi per poi procedere con la successiva iterazione. La soluzione di problemi di algebra lineare comporta spesso l’impiego di metodi iterativi che beneficiano della bassa latenza di comunicazione, e gli algoritmi di reti neurali (e in particolare le DNN) fanno ampio uso di questi metodi al punto tale che Nvidia ha acquisito Mellanox, la principale azienda produttrice di apparati Infiniband, per sfruttarne le competenze relative alle comunicazioni tra GPU e dispositivi centrali nella realizzazione delle intelligenze artificiali moderne.
La commutazione fotonica
La parcellizzazione del calcolo, per favorire un’elaborazione parallela al fine di sfruttare al meglio la natura sempre più distribuita delle unità di elaborazione (con l’avvento dei chiplet nel design delle CPU è ulteriormente cresciuta la densità di core per unità), rende centrale il tempo di comunicazione e la fisica ci insegna che niente viaggia più velocemente della luce. Il segnale elettrico si propaga a poco più della metà di quest’ultima e non è un caso che la commutazione fotonica ha trovato impiego nel lavoro della startup Drut mostrato alla conferenza Super Computing 2022 in cui un server viene “scomposto” nelle sue parti all’interno di un rack, e così la memoria o i dischi possono essere fisicamente situati in apparati diversi e ricollegati dinamicamente attraverso questa connessione ottica che trasporta i protocolli del bus PCI o della memoria.
I vantaggi dell’impiego dei segnali ottici
L’idea di usare elementi ottici e non elettrici per effettuare il calcolo non è una idea nuova, in fondo esistono numerosi elementi capaci di “elaborare” i segnali ottici in modo analogo a quanto riusciamo a fare con i flussi di elettroni. I vantaggi dell’impiego dei segnali ottici includono una latenza di comunicazione più bassa e l’assenza di assorbimento energetico dovuta alla resistenza della trasmissione tipica dei segnali elettrici. Il passaggio di un segnale da ottico a elettrico e viceversa ha un costo di commutazione e non è un caso che nel settore delle telecomunicazioni esistono vari apparati che smistano segnali ottici senza dover convertire il segnale in elettrico.
Una rete neurale si ispira al funzionamento delle reti neurali che propagano segnali elettrici all’interno del cervello umano. Le connessioni tra i vari neuroni memorizzano informazioni rafforzando e indebolendo le connessioni tra i neuroni e distribuendo l’informazione in un numero strabiliante di connessioni stimato essere 1014 (centomila miliardi) in un solo cervello umano. Fin dai primi passi i ricercatori hanno considerato di realizzare fisicamente delle “reti neurali”, ma la difficoltà di realizzare strutture capaci di automodificarsi hanno sempre ristretto questi tentativi ai laboratori di ricerca.
Già negli anni ’90 Demetri Psaltis lavorava al Caltech per realizzare reti neurali utilizzando fibre ottiche, ma limitandosi a pochi livelli e qualche migliaio di connessioni. Una rete neurale usata per il Deep Learning come quelle usate per implementare ChatGPT richiede molti più livelli nella struttura della rete e miliardi di connessioni per poter operare.
In effetti gli approcci tentati non sono puramente ottici, ma si appoggiano ad una fabbricazione ibrida basata sia su fotoni che su elettroni, in particolare le aziende di Boston Lightmatter e Lightintelligence hanno realizzato sistemi ibridi in cui il modulatori di silicio riescono ad effettuare calcolo matriciale codificando ed elaborando mediante l’impiego di segnali ottici.
La possibilità di effettuare in modo più efficiente i calcoli necessari all’implementazione di reti neurali può consentire la realizzazione di sistemi meno energivori e potenzialmente capaci di rappresentare reti neurali molto complesse capaci di realizzare sistemi AI più avanzati.
Il futuro è ottico
Non è plausibile pensare che interi sistemi possano essere realizzati utilizzando queste tecnologie, ma la loro introduzione potrebbe contribuire ad abbassare i costi di elaborazione. Si tratta di un aspetto centrale, l’ormai famosa intelligenza artificiale ChatGPT si stima che costi 100.000$ al giorno per funzionare. L’introduzione di elementi di calcolo ibridi che impieghino anche fotonica e non solo elettronica potrebbero contribuire a ridurre questi costi consentendo di realizzare reti ancora più capaci, sempre alla ricerca di creare strutture con i centomila miliardi di connessioni di un nostro cervello. L’evoluzione delle reti neurali negli ultimi 10 anni ha reso possibile l’introduzione delle tecniche di AI generativa, e oggi ci meravigliamo che questi sistemi possano scrivere storie e poesie e generare opere d’arte. La possibilità di accrescere le reti neurali consentirebbe un ulteriore sviluppo di queste tecnologie avvicinando in qualche modo il futuro immaginato da Ray Kurzweil nel suo libro The Age of spiritual machines.
Partecipa alla community