INFORMATICA e filosofia

AI e linguaggio, il successo dei modelli “trasformatori”: aveva ragione Wittgenstein

Confermano le intuizioni del filosofo austriaco i nuovi passi intrapresi dalla ricerca sull’Intelligenza artificiale. Dai primi modelli di NLP al mascheramento multiplo introdotto dal sistema Bert, un’analisi delle tecnologie di frontiera che potranno risolvere i “segreti” del rapporto tra visione, parole e concetti

12 Nov 2020
Ernesto Damiani

Senior Director of Robotics and Intelligent Systems Institute at Khalifa University

intelligart

Agli appassionati non sarà sfuggito che l’evoluzione della ricerca in Intelligenza Artificiale sta riportando in campo alcune idee storiche della filosofia del linguaggio, fornendone una inattesa convalida sperimentale attraverso le prestazioni di modelli di apprendimento computazionale che le rispecchiano.

Linguaggio naturale e mondo reale

Già all’inizio del secolo scorso, ad esempio, il grande Bertrand Russell scriveva che le relazioni tra le componenti sintattiche delle proposizioni (semplicemente le “parole” delle “frasi” del linguaggio ordinario) rappresentano spesso i fatti nel mondo reale (ad esempio, nella frase “sulla tavola imbandita, la forchetta è posta a sinistra del coltello”, la parola “forchetta” si trova effettivamente alla sinistra di quella “coltello” ), e che quindi la “verità” di una frase si può determinare confrontando sperimentalmente le relazioni espresse nella frase con quelle del mondo reale.

WHITEPAPER
AZIENDA RETAIL: ecco i 15 motivi per cui hai bisogno dell'Intelligenza Artificiale!
Intelligenza Artificiale
Retail

Certo, l’osservazione di Russell trascurava il fatto che noi possiamo esprimere in linguaggio naturale anche cose che non esistono nel mondo reale, e che quindi una proposizione può avere un significato anche quando lo stato di cose che descrive non si verifica nel mondo reale.

Ludwig Wittgenstein, nel suo “Tractatus Logico-Philosophicus” risolse questa difficoltà chiarendo che solo le proposizioni-specchio che raffigurano la realtà (le cosiddette proposizioni fattuali) sono significative: anzi, secondo Wittgenstein è proprio rispecchiando la realtà fisica che le proposizioni acquisiscono significato. Tutte le altre proposizioni (quelle “non-specchio”) non hanno senso, e quindi bisognerebbe evitare di scriverle o pronunciarle; da qui la frase “Whereof one cannot speak, thereof one must be silent”, uno degli aforismi più famosi – e peggio tradotti – della filosofia moderna (aforisma che, peraltro, non è esso stesso una raffigurazione del mondo reale).

Da Wittgenstein all’Intelligenza artificiale

L’idea inconfondibilmente novecentesca delle proposizioni-specchio può essere espressa in modo più moderno dicendo che la struttura della descrizione verbale (o testuale) di un’immagine rispecchia lo stato di cose che l’immagine rappresenta, ovvero la disposizione dei suoi componenti.

Per noi informatici, conta molto l’aspetto computazionale: le componenti grammaticali della descrizione testuale di un’immagine sono spesso nello stesso numero dei componenti visivi (gli “oggetti”) che l’immagine contiene e la loro disposizione nel testo si trova in qualche relazione computabile con la posizione degli oggetti stessi nell’immagine.

Da questa intuizione è nata l’idea di provare a usare le descrizioni testuali al posto delle immagini nei problemi di visione, ad esempio per i problemi di predizione (“cosa comparirà adesso?”) oppure di rilevazione di anomalie. Questa idea, però, si è scontrata per decenni con la difficoltà (a parte gli esempi semplici come quello della tavola imbandita) di esprimere matematicamente la natura della relazione tra la struttura sintattica di una descrizione e la struttura dell’immagine che rappresenta.

Arrivano i modelli trasformatori

Oggi, questa difficoltà viene aggirata con un metodo classico dell’Intelligenza Artificiale, cioè usando un modello di apprendimento computazionale come approssimatore della relazione, e addestrandolo attraverso esempi. Questo approccio è applicato da decenni quando si devono risolvere problemi NLP (Natural Language Processing) che riguardano brani di testo, che si tratti di classificazione (e.g. spam/non spam) o di predizione (la prossima parola è …). Non tutti i modelli NLP però si prestano a lavorare su descrizioni di immagini, perché la relazione tra disposizione delle parole nella descrizione e quella degli oggetti nell’immagine descritta è spesso elusiva e dipendente dal linguaggio in cui la descrizione è redatta.

La differenza la stanno facendo i modelli detti “trasformatori”, che sono molto usati grazie al successo della libreria BERT di Google per il trattamento del linguaggio naturale. Il più famoso ora è GPT-3 di Open AI.

I modelli predittivi per il linguaggio naturale sono storicamente basati su un approccio direzionale, tipicamente usano la parte sinistra delle frasi per prevedere quella destra. Vengono addestrati con esempi di completamento corretto, come quello in cui “Il bambino mangia la ___” corrisponde a “Il bambino mangia la merenda”.

BERT ha introdotto una nuova tecnica chiamata “mascheramento multiplo”, mirata a apprendere meglio i contesti. Si tratta di mascherare diverse parole in una frase e chiedere al modello di riempire gli spazi vuoti. Gli esempi con cui viene addestrato il modello contengono quindi mascheramenti multipli come “Il _____ mangia la ___ “ corrisponde a “Il bambino mangia la merenda”.

Oggi, l’addestramento di un modello BERT può comprendere milioni di frasi. Il 15% delle parole in ciascuna frase viene sostituita con una maschera. Il modello tenta quindi di prevedere il valore originale delle parole mascherate in base al contesto fornito dalle altre parole non mascherate nella sequenza. Da un punto di vista tecnico, è importante notare che la funzione di perdita (loss function) usata nell’addestramento BERT per valutare le predizioni del modello prende in considerazione solo la previsione delle parole mascherate, ignorando eventuali errori nella previsione delle parole non mascherate. Di conseguenza, di solito il modello BERT converge più lentamente dei modelli direzionali, ma acquisisce anche una maggiore consapevolezza della struttura del contesto.

Verso un BERT visuale

Dopo che il mascheramento multiplo si è dimostrato molto efficace, i ricercatori hanno cercato di applicarlo a descrizioni di immagini. Molte descrizioni letterarie o scientifiche di immagini non si adattano allo scopo (in senso filosofico, non hanno significato) perché non sono specchi del contenuto. Ad esempio, non ha significato (per l’addestramento modelli, beninteso) la descrizione di un’immagine che mostra un fumatore di pipa e che ci spiega, poniamo, che si tratta del commissario Maigret.

Il serbatoio più naturale di descrizioni che contengono proposizioni-specchio è quello delle didascalie, e quindi la tecnica del mascheramento multiplo è stata usata per apprendere la struttura delle didascalie, associandola alle immagini descritte dalle didascalie stesse. Questa associazione, che lega ad esempio tutte le immagini che contengono “qualcuno” che mangia “qualcosa” alla struttura “Il ____ mangia la _____” è un approssimatore computabile (ed apprendibile) della relazione tra forma logica delle proposizioni-specchio e struttura visuale delle immagini, così come la immaginavano i filosofi del secolo scorso.

Questa relazione si è rivelata preziosa per prevedere le parti mancanti o nascoste di immagini mai viste prima, un problema che mette a dura prova i modelli di elaborazione di immagini tradizionali. E’ stata usata con successo anche per creare didascalie partendo da nuove immagini.

Il prossimo step: dal testo all’immagine

Oggi, la ricerca sta cercando di trovare una soluzione al problema inverso: generare nuove immagini partendo dalle didascalie. Prevedibilmente, si è iniziato usando la tecnica inversa di quella che abbiamo appena descritta: si generano esempi di immagini “bucherellate” mascherando con blocchi monocromatici alcuni oggetti nell’immagine e associando poi l’immagine mascherata alla didascalia che aveva da integra, in modo da ottenere esempi della relazione tra la struttura delle immagini e la forma logica delle proposizioni specchio. Una volta addestrato il modello, gli si propone una didascalia mai vista prima e gli si chiede di generare un’immagine adeguata.

Il solo fatto che le immagini generate dai prototipi oggi disponibili – per quanto rozze – sembrino plausibili all’osservatore umano ci suggerisce che forse siamo vicini a capire qualcosa di basilare su come si crea anche nell’uomo l’associazione tra un dato visivo e la sua concettualizzazione. Su questa comprensione potrà forse basarsi una nuova generazione di sistemi IA che potranno parlare in modo sensato del mondo che li circonda.

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati