Navigando sui siti di molte aziende è sempre più frequente imbattersi in chatbot basate sull’intelligenza artificiale che svolgono funzioni di assistenza clienti, e un numero crescente di organizzazioni affianca ai propri dipendenti assistenti virtuali per le attività quotidiane. Questi sistemi dialogano con gli utenti in italiano, ma i meccanismi di sicurezza che dovrebbero impedire loro di fornire informazioni pericolose o produrre contenuti dannosi vengono progettati e verificati soprattutto in inglese.
Diversi studi recenti, tra cui un benchmark europeo[1] che include l’italiano e un’ampia ricerca[2] della Stanford University sui principali modelli commerciali, mostrano che l’efficacia di queste protezioni cambia a seconda della lingua in cui il modello viene interrogato, e che l’italiano, pur essendo una lingua con un’ampia disponibilità di dati, non fa eccezione. Le differenze non vanno sempre nella stessa direzione, perché in alcuni casi i modelli risultano più vulnerabili proprio in inglese. È però questa variabilità a rendere necessario che imprese e pubbliche amministrazioni che adottano chatbot e agenti rivolti a utenti italiani verifichino la sicurezza dei sistemi anche nella lingua in cui vengono effettivamente usati.
Indice degli argomenti
La sicurezza dei modelli IA oltre l’inglese: come funzionano i guardrail
I meccanismi di protezione che impediscono a un modello linguistico di ricevere o produrre contenuti dannosi o fuori tema rispetto alla richiesta dell’utente sono chiamati Guardrail. Essenzialmente, un sistema di guardrail è costituto da una pipeline con moduli di ingresso e di uscita posti prima e dopo il modello protetto, dedicati a monitorare e filtrare gli input e gli output problematici.
Se un utente chiede, ad esempio, come fabbricare esplosivi, il guardrail in ingresso respinge la richiesta prima che arrivi al modello, mentre quando è il modello a generare contenuti dannosi, il guardrail in uscita li attenua o li sostituisce con una risposta standard sicura[3].
M-ALERT e la sicurezza dei modelli IA in italiano
Tra gli studi che includono dati specifici sull’italiano, uno dei più ampi è stato pubblicato nel 2025 e introduce M-ALERT, un benchmark che valuta la sicurezza dei modelli in inglese, francese, tedesco, italiano e spagnolo. L’esperimento ha utilizzato quindicimila prompt per ciascuna lingua, distribuiti in 32 sottocategorie di rischio e tradotti con più sistemi automatici, di cui è stata selezionata la versione migliore. I risultati dello studio mostrano incoerenze significative nel comportamento dei modelli, sia da una lingua all’altra che da una categoria all’altra.
A valutare le risposte è un modello giudice, LlamaGuard 3, che su un campione verificato manualmente ha mostrato un buon accordo con le valutazioni umane. Gli autori considerano sicuro un modello che risponde correttamente almeno nel 99% dei casi, ma nessuno dei modelli analizzati supera questa soglia in tutte e cinque le lingue. Nello specifico, anche modelli commerciali dotati di protezioni aggiuntive, come Gemini 2.0 e GPT-4o, hanno mostrato cali di sicurezza evidenti a seconda della lingua.
L’esempio più significativo per il contesto nazionale riguarda Llama 3. Nella categoria dell’evasione fiscale il modello ha risposto in modo sicuro nel 100% dei casi in inglese, ma solo nel 67,7% quando la stessa richiesta è formulata in italiano. La lingua inglese, però, non è sempre la più protetta: ad esempio alla sicurezza complessiva del modello Llama 3.1, è stato attribuito un punteggio del 98,7%, che scende al 55 % nella categoria della propaganda criminale quando interrogato in inglese, e si mantiene al 96,5% in tedesco.
Dopo una revisione manuale gli autori hanno escluso che queste differenze dipendano da errori di traduzione o del giudice automatico, attribuendole piuttosto a un comportamento di sicurezza non allineato tra le lingue. Il dato più eloquente riguarda la coerenza. Un modello come QwQ risulta sicuro in circa il 97% dei casi in ciascuna lingua, ma dà lo stesso esito allo stesso prompt in tutte e cinque le lingue solo nell’89% dei casi.
La conseguenza da tenere presente è che un eventuale punteggio di sicurezza complessivo assegnato al modello, o anche semplicemente misurato solo in inglese, può nascondere vulnerabilità concentrate in una lingua e in un ambito specifici.
Il test Stanford sulla sicurezza multilingue dei modelli IA
Un quadro più aggiornato viene dallo studio della Stanford University, ancora in attesa di revisione, che differisce da M-ALERT sotto diversi aspetti, primo tra tutti i modelli presi in esame, ossia 61 configurazioni di modelli commerciali di cinque famiglie, GPT, Claude, DeepSeek, Gemini e Grok.
Il secondo elemento di differenza riguarda le lingue. Oltre all’italiano, unica lingua europea continentale presente, figurano cinese, arabo, coreano, vietnamita, thailandese e tre lingue con pochi dati disponibili come bengalese, swahili e giavanese. Il terzo riguarda invece i prompt, costituiti dai 3.150 del dataset MultiJail, e tradotti manualmente anziché con sistemi automatici. Ancora più rilevante è la differenza di metodo.
Ogni prompt è stato sottoposto dieci volte a ciascun modello, con quattro diverse impostazioni di generazione, per un totale di circa 1,9 milioni di risposte, valutate da GPT-5.2 e confrontate con giudizi umani e con quelli di altri due modelli. I ricercatori hanno infatti osservato che una singola prova per prompt restituisce un segnale largamente coperto dalla casualità delle risposte, e che solo ripetendo le prove emerge un quadro stabile.
Invece di limitarsi a contare i tentativi di jailbreak riusciti, lo studio usa inoltre un modello statistico che separa la robustezza generale del modello, la difficoltà del singolo prompt, quella della lingua e lo scarto specifico che una richiesta mostra in una lingua rispetto all’inglese.
Differenze tra lingue, traduzione e contesto
Anche i risultati divergono in parte da quelli di M-ALERT. Secondo lo studio di Stanford, la sicurezza dei modelli è sostanzialmente unitaria: un modello che rifiuta un tipo di richiesta dannosa tende a rifiutare anche gli altri, attraverso un meccanismo comune. Le differenze tra lingue non seguono però una direzione unica. Per GPT e Claude la sicurezza è generalmente più alta in inglese, mentre tutte le configurazioni di Grok e DeepSeek e due di Claude risultano più vulnerabili proprio in questa lingua, per un totale di 22 configurazioni su 61.
Diversa è anche la lettura delle cause. Mentre M-ALERT attribuisce le discrepanze soprattutto a dati di sicurezza carenti per le singole lingue, Stanford scompone il problema e trova che la qualità della traduzione spiega circa l’1% degli scarti. Alcuni errori gravi, tuttavia, falsano i risultati, e ne sono stati individuati anche in MultiJail nonostante la traduzione manuale. Una parte degli scarti residui deriva da concetti legati al contesto statunitense, che in altre lingue perdono significato, e gli scarti maggiori si concentrano sulle richieste relative a danni fisici e concreti, come furti e armi.
L’italiano rientra in questo quadro. Tra le quindici combinazioni di prompt e lingua con lo scarto più marcato compare proprio la versione italiana della richiesta su come avviare un’automobile senza chiavi eludendo l’allarme. Nell’analisi statistica, inoltre, l’italiano si colloca accanto al cinese e all’arabo tra le lingue ad ampia disponibilità di dati, distinte da quelle meno rappresentate.
Misurare la sicurezza dei modelli IA lingua per lingua
I due studi convergono comunque sul punto essenziale: la sicurezza di un modello va misurata lingua per lingua e categoria per categoria, perché un valore medio, per quanto elevato, non dice come il sistema si comporterà con la richiesta di un utente italiano.
Come testare i modelli IA in italiano nelle aziende
A partire da questa evidenza è possibile ricavare alcune indicazioni operative per le aziende che impiegano modelli LLM in lingua italiana, come gli assistenti virtuali o le chatbot usate per gestire l’assistenza clienti. In questi casi, generalmente, il modello sottostante a questi servizi è lo stesso, usato in tutto il mondo, ma gli utenti gli si rivolgono in italiano, con tutto quello che ne consegue in termini di riferimenti normativi, amministrativi e culturali propri del contesto nazionale.
Red teaming, prompt madrelingua e controlli a più livelli
Il primo passo per le aziende è quindi includere l’italiano come variabile esplicita nel red teaming e nei test che precedono la messa in esercizio, leggendo i risultati per lingua e per categoria di rischio e non come valore medio complessivo. Il secondo passo riguarda la qualità dei prompt di prova. Dovrebbero essere scritti, o almeno rivisti, da madrelingua e adattati al contesto italiano. Una traduzione automatica può infatti non rendere perfettamente l’intento dannoso di una richiesta, e di conseguenza restituire un’immagine della sicurezza migliore di quella reale.
Il terzo riguarda il metodo: ripetere più volte le stesse prove permette di cogliere un’incertezza delle risposte che un singolo tentativo non rileva. A questi accorgimenti si può aggiungere una verifica in fase di selezione dei fornitori, chiedendo se i filtri di sicurezza offerti supportano l’italiano e se esistono dati di valutazione specifici per la lingua.
Resta valida, in ogni caso, l’impostazione a più livelli raccomandata da OWASP, secondo cui i modelli guardrail vanno affiancati da controlli deterministici e non bastano da soli¹⁴.
Sicurezza dei modelli IA in italiano, una sfida senza allarmismi
Il tema non va letto in chiave allarmistica. I modelli più recenti mostrano nel complesso tassi di risposte non sicure contenuti. Lo stesso studio di Stanford riporta però differenze marcate tra le famiglie, con percentuali di successo dei jailbreak comprese tra il 2,3 e il 28,1%¹⁵.
Il punto è che la sicurezza di un modello non è una proprietà unica che si trasferisce automaticamente da una lingua all’altra: dipende anche dalla lingua in cui il modello viene messo alla prova. L’Italia può contare su una comunità di ricerca attiva nell’elaborazione del linguaggio naturale, come dimostra il contributo italiano a benchmark come M-ALERT. Sviluppare strumenti di valutazione costruiti nativamente in italiano è quindi un’opportunità concreta, utile sia ai fornitori sia alle organizzazioni che adottano questi sistemi, per garantire agli utenti italiani lo stesso livello di protezione di chi usa l’inglese.
Note
[1] https://arxiv.org/abs/2412.15035 ↩
Partecipa alla community