hatecheck

Lotta all’hate speech: l’intelligenza artificiale può ancora poco ma sta migliorando. Lo studio

Un nuovo studio individua le falle dei sistemi di intelligenza artificiale usati per moderare il linguaggio d’odio online. Il fine è di comprendere come superare le debolezze del sistema e aiutare l’industria a migliorare le tecnologie utilizzate. Metodologia e risultati

02 Lug 2021
Luigi Mischitelli

Privacy & Data Protection Specialist at IRCCS Casa Sollievo della Sofferenza

hate_speech3

L’intelligenza artificiale assume un ruolo sempre più importante nell’identificazione dell’hate speech online Ma nonostante i recenti progressi di tale tecnologia nell’ambito della “lotta” per un linguaggio “depurato dagli eccessi”, un nuovo studio denominato “HateCheck”[1] mette in evidenza i compromessi tra la sotto e la sovra-identificazione dell’hate speech. Vediamo perché.

L’odio sui social è un business: ecco perché le piattaforme fanno poco per frenarlo

La lotta dell’intelligenza artificiale contro l’hate speech

L’hate speech – ossia quell’insieme di comportamenti che incitano all’odio verbale/non verbale verso una o più persone principalmente per motivi di genere, etnia, disabilità e appartenenza sociale – è una delle piaghe della società globalizzata degli anni Venti del duemila. Con l’evolversi della tecnologia, l’hate speech prende forma nei gangli del Web, inficiando tutti i “punti di incontro” tra due o più persone (si pensi, ad esempio, ai social media). In questa inarrestabile avanzata, l’intelligenza artificiale ha un ruolo predominante. Nello studio HateCheck alcuni scienziati dalla University of Oxford, dell’Alan Turing Institute, della Utrecht University e della University of Sheffield hanno testato quattro dei migliori sistemi di intelligenza artificiale per il rilevamento dell’hate speech, scoprendo (tra di loro) di aver adottato modalità diverse per distinguere le frasi “tossiche” (ossia contenenti odio) da quelle innocue.

WHITEPAPER
Come l'AI può rendere più performante ed efficace una strategia di Marketing?
CRM
Intelligenza Artificiale

Ma al di là delle modalità di approccio all’intelligenza artificiale, i risultati non sono (altrettanto) sorprendenti; infatti, creare un’intelligenza artificiale che comprenda le sfumature del linguaggio naturale è difficile. Ma focalizzandoci solo sul modo in cui i ricercatori hanno diagnosticato il problema, ci troviamo dinanzi a ben ventinove diversi test che mirano ad analizzare e affrontare diversi aspetti dell’hate speech, con il fine ultimo di individuare con più precisione dove ogni sistema fallisce. Tutto ciò rende da un lato più facile comprendere come superare le debolezze del sistema, e dall’altro dà una considerevole mano al mondo dell’industria per migliorare l’intelligenza artificiale da essa ampiamente impiegata.

La metodologia utilizzata

Gli autori del sopracitato studio “HateCheck”, guidati dai ricercatori della University of Oxford e dell’Alan Turing Institute di Londra, hanno intervistato i dipendenti di sedici organizzazioni non profit che lavorano per combattere l’odio presente sul Web. Il team britannico-olandese ha utilizzato queste interviste per creare una tassonomia di ben diciotto diversi tipi di hate speech, concentrandosi perlopiù sull’hate speech testuale “made in UK”, compresi il discorso dispregiativo, gli insulti e il linguaggio contenente minacce. Sono stati anche identificati undici scenari che, pur non includendo hate speech, fanno comunemente “inciampare” i moderatori dell’intelligenza artificiale (si pensi agli errori di Facebook), tra cui l’uso di turpiloquio in dichiarazioni innocue, insulti che sono stati segnalati dalla community di riferimento, e denunce di odio che citano o fanno riferimento all’hate speech “originario”. Per ciascuna delle ventinove diverse categorie esaminate, i ricercatori inglesi hanno “creato a mano” decine di esempi e utilizzato frasi modello come: “Odio [nome della persona]” o “Sei solo un [genere di insulto] per me”, al fine di generare lo stesso dataset di esempi per sette gruppi “protetti” (divisi ad es. per genere, etnia ecc.) che sono legalmente tutelati contro la discriminazione dalla legislazione degli Stati Uniti. I ricercatori hanno reso pubblico il dataset finale chiamato, come da titolo dello studio, “hateCheck”, che contiene quasi quattromila esempi in totale.

I ricercatori hanno poi testato due popolari servizi commerciali: “Perspective API” di Jigsaw (by Google) e “Sift Ninja” della canadese Two Hat. Entrambe le piattaforme permettono ai clienti di segnalare contenuti violenti in post o commenti. Perspective, in particolare, è utilizzato da piattaforme come Reddit e da quotidiani come il New York Times e il Wall Street Journal; tale strumento permette di segnalare e di dare la priorità ai post e ai commenti in base al contenuto di hate speech, così da permettere un’efficace risposta da parte del team “umano” dei moderatori di contenuti. Tuttavia, mentre Sift Ninja si è mostrato eccessivamente “indulgente” nello “stanare” l’hate speech, non riuscendo praticamente mai a rilevare le sue varianti, Perspective si è dimostrato eccessivamente duro in tale “lavoro”. In pratica, la soluzione di casa Google eccelleva nel rilevare la maggior parte delle diciotto categorie di odio previste da HateCheck, pur tuttavia segnalando anche la maggior parte di quelle che non figuravano come hate speech, come gli insulti non caratterizzati da odio. I ricercatori hanno trovato lo stesso schema di Perspective quando hanno testato due modelli accademici di Google che rappresentano alcune delle migliori tecnologie disponibili di intelligenza artificiale applicate al linguaggio e che, probabilmente, servono come base per altri sistemi commerciali di moderazione dei contenuti. I modelli accademici hanno anche mostrato prestazioni disomogenee tra i gruppi protetti (es. genere, etnia ecc.) segnalando più volte l’odio diretto verso alcuni gruppi rispetto ad altri. Come se, ad esempio, i discorsi d’odio su base etnica venissero segnalati maggiormente rispetto a quelli di genere.

I paradossi

I risultati della ricerca britannico-olandese indicano uno degli aspetti odierni più impegnativi del rilevamento dell’odio basato sull’intelligenza artificiale, che rappresenta quasi un clamoroso aut-aut: moderare “troppo poco” non riesce a risolvere il problema; moderare troppo, invece, può portare a censurare il tipo di linguaggio che i gruppi di persone emarginate usano per darsi potere (difendendosi). Ci si trova nella surreale situazione in cui, tutto d’un tratto, si andrebbe a penalizzare proprio quelle comunità che sono più spesso prese di mira dall’odio. Perspective di Jigsaw, ad esempio, supera queste limitazioni affidandosi a moderatori umani per prendere le decisioni finali nel campo dell’hate speech. Ma questo processo non è sempre attuabile per piattaforme più grandi (si pensi a Facebook). Jigsaw sta lavorando allo sviluppo di una funzione che potrebbe ridefinire le priorità dei post e dei commenti sulla base dell’incertezza di Perspective, rimuovendo automaticamente il contenuto che sia “sicuramente” di hate speech e, al contempo, segnalando il contenuto borderline ai moderatori umani per la decisione finale.

Ciò che è davvero interessante dello studio HateCheck, è che fornisce un modo molto “sottile” per valutare lo stato dell’arte della tecnologia in esame. Molte delle cose che sono evidenziate in questo documento – come le parole sottoposte a reclamo da parte della community di riferimento, e che rappresentano una sfida per questi modelli – sono qualcosa che è da sempre conosciuto nel settore, pur tuttavia davvero difficile da quantificare. Jigsaw, dal canto suo, sta utilizzando HateCheck per capire meglio le differenze tra i suoi modelli, al fine di intervenire lì dove sia necessario apportare dei miglioramenti alla sua piattaforma.

Anche gli accademici sono entusiasti dalla ricerca in oggetto, poiché permette di valutare “in teoria” ciò che potrebbe un giorno (non troppo lontano) tramutarsi “in pratica”, ossia la “prova del mercato”. Infatti, molto presto, le aziende stesse dovranno provare il funzionamento del sistema e, se del caso, segnalare i punti forti e i punti deboli della piattaforma, al fine di migliorare l’intero apparato. Ciò che è certo, è che i limiti dei modelli linguistici e il “disordine” del linguaggio ci fanno capire che ci saranno sempre dei compromessi tra la sotto e la sovra-identificazione dell’hate speech. Allo stato dei fatti, semplicemente, il dataset di HateCheck aiuta a rendere visibili questi compromessi.[2]

  1. HATECHECK: Functional Tests for Hate Speech Detection Models. University of Oxford – The Alan Turing Institute – Utrecht University – University of Sheffield. https://arxiv.org/pdf/2012.15606.pdf
  2. AI still sucks at moderating hate speech. MIT Technology Review. https://www.technologyreview.com/2021/06/04/1025742/ai-hate-speech-moderation/

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati