traduttore universale

Seamless Communication: così l’IA abbatte le barriere linguistiche



Indirizzo copiato

Seamless Communication di Meta AI è un avanzato sistema di traduzione vocale che mira a eliminare le barriere linguistiche, combinando tre modelli neurali per tradurre in tempo reale oltre cento lingue, mantenendo emozioni e stile vocale. Come funziona e perché rende più concreto il sogno di un traduttore vocale universale

Pubblicato il 9 apr 2024

Carmelina Maurizio

Università degli Studi di Torino



language-2

La comunicazione tra le lingue è una sfida che l’intelligenza artificiale può aiutare a superare, è quanto ha inteso fare Meta AI, che ha annunciato da qualche mese di aver sviluppato una nuova suite di modelli di intelligenza artificiale, chiamata Seamless Communication, che ha l’obiettivo di rendere possibile una comunicazione più naturale e autentica tra le varie lingue, avvicinandosi al sogno di un traduttore vocale universale.

Cos’è Seamless di Meta AI

Il modello principale, chiamato Seamless, integra le funzionalità di altri tre modelli – SeamlessExpressive, SeamlessStreaming e SeamlessM4T v2 – in un unico sistema.

Costruire un traduttore universale di lingue è una sfida perché i sistemi speech-to-speech e speech-to-text esistenti coprono solo una piccola parte delle lingue del mondo. SeamlessM4T rappresenta una svolta significativa in quanto affronta le sfide della copertura linguistica limitata e della dipendenza da sistemi separati, che dividono il compito della traduzione speech-to-speech in più fasi e sottosistemi.

In primo luogo, è stato costruito un nuovo spazio di incorporazione del testo massicciamente multilingue e modale per 200 lingue, denominato SONAR (Sentence-level mOdality- and laNguage-Agnostic Representations), che supera sostanzialmente gli approcci esistenti, come LASER3 o LaBSE nella ricerca di similarità multilingue. Viene usato un approccio insegnante-allievo per estendere questo spazio di incorporamento alla modalità del parlato; l’estrazione viene eseguita su dati provenienti da archivi di dati web (decine di miliardi di frasi) e di parlato (4 milioni di ore). In totale, sono state allineate automaticamente più di 443.000 ore di parlato con i testi. Questo corpus è denominato SeamlessAlign, il più grande corpus parallelo aperto di parlato/parlato e parlato/testo in termini di volume totale e di copertura linguistica.

Seamless un traduttore universale in tempo reale

Seamless è un traduttore che sfrutta l’AI, combinando tre modelli di rete neurale avanzati per consentire la traduzione in tempo reale tra oltre 100 lingue parlate e scritte, mantenendo lo stile vocale, l’emozione e la prosodia della voce di chi parla. L’espressione e la complessità del parlato tra le lingue. Meta afferma che la suite AI è in grado di “riprodurre accuratamente le emozioni dell’oratore”.

SeamlessExpressive

SeamlessExpressive è un modello che mira a preservare l’espressione, l’emozione e l’intonazione della voce dell’oratore durante la traduzione vocale. Questo modello si concentra sull’acquisizione delle sfumature dell’espressione umana, che sono spesso trascurate dagli strumenti di traduzione esistenti. Preservando lo stile vocale e le sfumature emotive della voce dell’oratore, SeamlessExpressive consente una comunicazione interlinguistica più naturale e autentica. Le lingue che attualmente conservano questi elementi nella traduzione vocale lo fanno nella traduzione tra inglese, spagnolo, tedesco, francese, italiano e cinese. Come spiegato nel documento, “le traduzioni dovrebbero catturare le sfumature dell’espressione umana. Sebbene gli strumenti di traduzione esistenti siano in grado di catturare il contenuto di una conversazione, in genere si affidano a sistemi di sintesi vocale robotici e monotoni”.

SeamlessStreaming

SeamlessStreaming è uno dei modelli chiave del kit Seamless Communication. Consente traduzioni vocali e testuali quasi in tempo reale, con solo circa due secondi di latenza. A differenza dei sistemi di traduzione convenzionali che aspettano che l’oratore finisca la frase prima di tradurre, SeamlessStreaming traduce mentre l’oratore sta ancora parlando. Questa funzione consente conversazioni più fluide e naturali tra persone di lingue diverse. Supporta la traduzione orale (speech-to-speech translation), la traduzione di dettatura (speech-to-text translation, S2TT) e il riconoscimento vocale automatico (Automatic speech recognition).

I ricercatori affermano che si tratta del “primo modello multilingue di massa” a fornire una velocità di traduzione così elevata in quasi 100 lingue parlate e scritte.

SeamlessM4T v2

SeamlessM4T v2 funge da modello multilingue e multitasking di base, che alimenta gli altri due modelli del kit Seamless Communication. Si tratta di una versione aggiornata del modello originale SeamlessM4T, che offre una maggiore coerenza tra l’output di testo e quello vocale. Secondo il documento, la nuova architettura offre “una migliore coerenza tra testo e parlato”.

Le diverse applicazioni della suite Seamless

I tre modelli di Seamless Communication possono essere utilizzati per diverse applicazioni, tra cui

  • la conversazione multilingue con gli occhiali intelligenti,
  • il doppiaggio automatico di video e podcast,
  • l’assistenza linguistica per gli immigrati e altri soggetti che hanno difficoltà di comunicazione. Cosa è in grado di fare SeamlessM4T v2

SeamlessM4T, riconoscendo il vocale per quasi 100 lingue, consente:

  • la traduzione da parlato a testo per quasi 100 lingue di ingresso e di uscita;
  • la traduzione vocale, con supporto di quasi 100 lingue di input e 36 lingue di output (incluso l’inglese);
  • la traduzione da testo a testo per quasi 100 lingue;
  • la traduzione da testo a voce, con supporto di quasi 100 lingue di ingresso e 35 (compreso l’inglese) lingue di uscita.

Una tecnologia sicura e responsabile

Meta è consapevole dei rischi che la tecnologia potrebbe comportare, come l’uso improprio per truffe di phishing vocale, falsificazioni profonde e altre applicazioni dannose. Per questo, ha implementato diverse misure per promuovere la sicurezza e l’uso responsabile dei modelli, come il watermarking dell’audio e nuove tecniche distinguere le voci sintetiche da quelle umane.

La filigrana incorpora attivamente un segnale che non viene notato dall’orecchio umano ma viene rilevato da un modello di rilevatore nell’audio, per cui l’origine dell’audio può essere rintracciata e si può stabilire una provenienza audio verificabile. Inoltre, promuovere l’uso corretto degli strumenti di conservazione della voce aiuta a prevenire potenziali abusi.

I modelli di Seamless Communication sono stati pubblicati su Hugging Face e Github; rendendoli disponibili Meta ha dichiarato di volere ispirare ricercatori e sviluppatori per migliorare ulteriormente queste tecnologie. Obiettivo ancora più rilevante è quello creare un ponte tra lingue e culture diverse, migliorando la comprensione globale.

Al momento non c’è una data indicata da Meta per il rilascio dei Seamless al grande pubblico, si tratta infatti di una fase in cui il modello è stato reso disponibile per la ricerca e per il suo eventuale miglioramento.

Se ne possono comunque già ipotizzare i molteplici usi potenziali, in campo didattico, accademico, scientifico, velocizzando la comunicazione e fornendo un ulteriore modo di ridurre le barriere comunicative globali.

Riferimenti

https://leganerd.com/2023/12/05/seamless-communication-ai-nuovo-traduttore-universale-di-meta-basato-sullintelligenza-artificiale/ [ 6/03/2024]

https://ai.meta.com/blog/seamless-m4t/ [ 6/03/2024]

https://leganerd.com/2023/12/05/seamless-communication-ai-nuovo-traduttore-universale-di-meta-basato-sullintelligenza-artificiale/ [6/03/2024]

https://ai.meta.com/research/seamless-communication/ [ 7/03/2024]

https://www.google.com/search?client=firefox-b-e&q=seamlessm4t#ip=1 [7/03/2024]

https://www.zdnet.com/article/meta-unveils-seamless-speech-to-speech-translator/[ 7/03/2024]

https://www.punto-informatico.it/seamless-meta-ai-traduttore-intelligenza-artificiale/ [7/03/2024]

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4