AI, alla ricerca di alternative al transformer: a che punto siamo
Indirizzo copiato
Il transformer domina i modelli linguistici dal 2017, ma costi, cache in crescita e contesti sempre più lunghi ne mostrano i limiti. Startup e laboratori sperimentano attenzione sparsa, power retention, modelli ibridi, diffusione e architetture per trovare alternative più efficienti e flessibili
Nel giugno del 2017 un gruppo di ricercatori di Google pubblicò su arXiv un lavoro dal titolo poco solenne, “Attention Is All You Need”, in cui veniva descritta una rete neurale battezzata transformer. Chi allora lavorava sull’elaborazione del linguaggio naturale usava reti ricorrenti che masticavano le sequenze un passo alla volta e sulle GPU rendevano male, perché il calcolo era seriale.
Clicca sul pulsante per copiare il link RSS negli appunti.
I tuoi contenuti, la tua privacy!
Su questo sito utilizziamo cookie tecnici necessari alla navigazione e funzionali all’erogazione del servizio.
Utilizziamo i cookie anche per fornirti un’esperienza di navigazione sempre migliore, per facilitare le interazioni con le nostre funzionalità social e per consentirti di ricevere comunicazioni di marketing aderenti alle tue abitudini di navigazione e ai tuoi interessi.
Puoi esprimere il tuo consenso cliccando su ACCETTA TUTTI I COOKIE. Chiudendo questa informativa, continui senza accettare.
Potrai sempre gestire le tue preferenze accedendo al nostro COOKIE CENTER e ottenere maggiori informazioni sui cookie utilizzati, visitando la nostra COOKIE POLICY.
ACCETTA
PIÙ OPZIONI
Cookie Center
ACCETTA TUTTO
RIFIUTA TUTTO
Tramite il nostro Cookie Center, l'utente ha la possibilità di selezionare/deselezionare le singole categorie di cookie che sono utilizzate sui siti web.
Per ottenere maggiori informazioni sui cookie utilizzati, è comunque possibile visitare la nostra COOKIE POLICY.
ACCETTA TUTTO
RIFIUTA TUTTO
COOKIE TECNICI
Strettamente necessari
I cookie tecnici sono necessari al funzionamento del sito web perché abilitano funzioni per facilitare la navigazione dell’utente, che per esempio potrà accedere al proprio profilo senza dover eseguire ogni volta il login oppure potrà selezionare la lingua con cui desidera navigare il sito senza doverla impostare ogni volta.
COOKIE ANALITICI
I cookie analitici, che possono essere di prima o di terza parte, sono installati per collezionare informazioni sull’uso del sito web. In particolare, sono utili per analizzare statisticamente gli accessi o le visite al sito stesso e per consentire al titolare di migliorarne la struttura, le logiche di navigazione e i contenuti.
COOKIE DI PROFILAZIONE E SOCIAL PLUGIN
I cookie di profilazione e i social plugin, che possono essere di prima o di terza parte, servono a tracciare la navigazione dell’utente, analizzare il suo comportamento ai fini marketing e creare profili in merito ai suoi gusti, abitudini, scelte, etc. In questo modo è possibile ad esempio trasmettere messaggi pubblicitari mirati in relazione agli interessi dell’utente ed in linea con le preferenze da questi manifestate nella navigazione online.
