un nuovo illuminismo

Linguaggio d’odio online, le soluzioni dell’intelligenza artificiale

Anche con intelligenza artificiale, nelle strategie adottate dalle piattaforme social contro il linguaggio d’odio permangono problemi sia procedurali che etici non facilmente risolvibili. Una soluzione è quella di assumere una prospettiva più proattiva e può arrivare dai modelli probabilistici

07 Gen 2022
Marco Guerini

Head of the Language and Dialogue Technologies Research Group at Fondazione Bruno Kessler - FBK

hate_speech1

Con l’aumentare della diffusione (e della pervasività) delle piattaforme social, sta aumentando in maniera preoccupante anche il fenomeno del linguaggio d’odio, comunemente indicato col termine hate speech. Da questo punto di vista grandi sforzi sono stati fatti, sia in termini di autoregolamentazione da parte dei social media, sia da parte dei singoli stati che, con leggi dedicate, tentano di contenerne la diffusione. Tuttavia, questi sforzi sembrano non bastare e anche l’intelligenza artificiale – come usata finora – ha mostrato di non poter riuscire ad arginare il fenomeno.

Come fare, allora, a contenere e prevenire l’odio online senza influire sulla libertà d’espressione? Serve guardare la cosa da una nuova prospettiva.

Intelligenza artificiale alla sfida hating: bene ma non benissimo

Le strategie attuali e i limiti dell’intelligenza artificiale

Le strategie attuali si basano infatti sul concetto di moderazione dei contenuti, ossia “identificazione e rimozione” degli stessi (più eventuale sospensione degli account coinvolti). Di solito l’identificazione avviene attraverso la segnalazione da parte di altri utenti, ma spesso succede che (i) vengano segnalati contenuti che non piacciono e che fanno arrabbiare ma che non costituiscono necessariamente incitamento all’odio, (ii) alcune persone usano questa possibilità di segnalazione nel tentativo di mettere a tacere gli avversari. Per questo motivo le piattaforme social richiedono comunque l’intervento manuale da parte dei moderatori per controllare ogni singola segnalazione degli utenti.

WHITEPAPER
Smart working: perché conviene avere i device giusti
Risorse Umane/Organizzazione
Smart working

L’intelligenza artificiale (IA) ha cercato di dare un aiuto nella mappatura del fenomeno e nell’identificazione dei singoli contenuti rimpiazzando per quanto possibile l’attività di segnalazione dei singoli utenti. Tuttavia, anche con l’introduzione dell’IA, permangono nelle strategie adottate dalle piattaforme social dei problemi sia procedurali che etici non facilmente risolvibili. Se infatti l’intelligenza artificiale può aiutare fornendo potenti reti neurali dedicate alla classificazione dei contenuti, è ovvio che tutte le attività che stanno a valle della classificazione, e che prevedono l’intervento della moderazione (rimozione dei post, sospensione degli account), possano prestare il fianco ad accuse di censura, di overblocking e, infine, di ostacolare la libertà d’espressione.

Inoltre, una semplice definizione legale non può bastare a contenere tutta l’estensione del fenomeno, e quindi la classificazione automatica da sola nulla può in questi casi. Ad esempio, queste strategie di identificazione e rimozione non possono essere facilmente applicate ai “discorsi pericolosi”, ad esempio contenuti che suscitano odio e divisione ma non rientrano in una definizione formale di linguaggio d’odio. Consideriamo l’esempio “da quando i [minoranza] hanno iniziato ad arrivare nel nostro paese c’è stato un picco di reati di violenza” che si potrebbe basare su una correlazione vera, ma spuria, oppure affermazioni puramente emotive che non fanno neanche riferimento al concetto di verità “da quando i [minoranza] sono venuti ad abitare nel mio quartiere ho paura a girare da solo di notte”. Questi contenuti, per quanto problematici, non possono essere cancellati e possono portare a conseguenze nefaste e a un aumento della discriminazione delle minoranze o dei gruppi coinvolti.

Un approccio proattivo contro il linguaggio d’odio

Alcune branche della linguistica computazionale (parte dell’Intelligenza Artificiale dedicata specificatamente all’elaborazione del linguaggio umano) hanno quindi iniziato a chiedersi se esista un modo per contenere e prevenire l’odio online senza influire sulla libertà d’espressione. Per far questo, bisogna cercare e sviluppare nuove metodologie di contrasto all’odio, ma per farlo è stato necessario cambiare completamente prospettiva: bisognava superare il precedente paradigma di tipo reattivo, basato sulla ‘identificazione e rimozione’ dei contenuti, e assumere una prospettiva più proattiva.

In particolare, ci si è concentrati su una strategia alternativa già utilizzata da alcune ONG. Queste ONG si sono specializzate nella formazione di operatori affinché possano intervenire direttamente nelle chat contenenti incitamento all’odio scrivendo risposte di testo educate, chiamate contro-narrative, che hanno lo scopo di contrastare il contenuto d’odio con prove credibili e di impedire che esso si diffonda ulteriormente.

L’idea di fondo si basa sulla consapevolezza che l’odio online è fondamentalmente guidato da fenomeni di “branco”. Mentre una volta si pensava che fosse l’anonimato a fomentare comportamenti aggressivi e antisociali, oggi ci si è resi conto che tante persone non hanno paura a metterci la faccia. Le norme sociali hanno infatti il potere di influenzare i comportamenti delle persone. Se un utente vede nella sua timeline ripetuti insulti verso un dato gruppo può essere portato a pensare che queste cose siano accettabili e in qualche modo “normali”. Ecco perché è necessario entrare nel flusso dell’odio e cambiare le narrazioni violente con narrazioni positive e inclusive. La consapevolezza di questi operatori è che probabilmente non saranno in grado di far cambiare idea agli hater, ma di sicuro potranno impedire agli astanti di cadere nella trappola dei discorsi d’odio.

Purtroppo però, rispondere manualmente a tutto l’odio online richiede molta esperienza e tempo (oltre ad avere ripercussioni dal punto di vista emotivo nel lungo periodo) e alla fine non è un’attività scalabile: è una vera e propria fatica di Sisifo. Ecco allora che l’IA può venire in aiuto degli operatori con le sue più recenti scoperte.

I modelli probabilistici

Infatti negli ultimi anni sono state sviluppate reti neurali molto potenti a cui è stato insegnato il linguaggio umano (questi modelli di machine learning sono chiamati Neural Language Model). In pratica sono stati fatti “leggere” a queste reti neurali migliaia (milioni) di documenti, di modo che imparassero un modello probabilistico della lingua. Questi modelli probabilistici non fanno altro che dirci che alla frase “il gatto insegue il” seguirà molto probabilmente “topo” e non “paracarro”. Una volta imparata la lingua è facile chiedere a queste reti neurali, dato un input, di continuarlo in maniera realistica e ragionevole (“il gatto insegue il … topo che ha rubato il formaggio dalla dispensa mentre il bambino urla terrorizzato alla vista del topo”). La cosa ancora più interessante è che con una quantità di dati relativamente esigua (si parla comunque di decine di migliaia di esempi) si possono specializzare queste reti neurali nella composizione di contro-narrative. In pratica dato in input un discorso d’odio, la rete neurale proseguirà naturalmente la scrittura con una risposta di tipo pacato e ragionevole volta a smontare le argomentazioni dell’odiatore.

Conclusioni

Per quanto ancora sub ottimali, queste risposte generate automaticamente si sono comunque dimostrate fondamentali per gli operatori – se usate come suggerimenti – nel ridurre il tempo necessario per scrivere risposte adeguate ai discorsi d’odio.

Possiamo dunque ragionevolmente sperare in una nuova era dell’Illuminismo, in cui uomini e computer siano coinvolti nel miglioramento dell’interazione sociale e in cui la ragione sostituisca l’odio e la censura, dove le differenze possano arricchire la nostra società attraverso il dialogo.

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati