norme e tecnologia

Allucinazioni dell’AI, quanti guai si rischiano: ecco i casi giudiziari



Indirizzo copiato

La sanzione comminata a un avvocato di New York e la diversa decisione del giudice del Tribunale di Firenze accendono il dibattito sui rischi legati alle allucinazioni dell’AI: prendendo d’esempio l’ambito forense, ecco le possibili conseguenze

Pubblicato il 8 mag 2025



regole ai Allucinazioni AI

L’uso dell’AI per avvocati e applicata al settore forense rappresenta una vera e propria realtà con la quale molti professionisti del settore hanno iniziato ad approcciarsi. Uno degli strumenti di AI più utilizzati è ChatGPT, un sistema di intelligenza artificiale di tipo conversazionale.

Tuttavia, non è tutto oro ciò che luccica, dato che un aspetto molto spinoso derivante dall’utilizzo di sistemi come ChatGPT è che tali sistemi non forniscono risposte neutre, sia perché influenzati dalle singole interazioni con l’utente, sia perché non sono programmati per non fornire risposte.

Che cosa sono le allucinazioni dell’AI

Siffatto obiettivo stato dell’arte comporta il rischio che ChatGPT possa fornire agli utenti risposte false e di totale invenzione del sistema, le quali possono anche avere ripercussioni legali per chi a esse si affida senza riserve. Tali risposte non veritiere vengono definite allucinazioni dell’intelligenza artificiale.

Già in passato negli Stati Uniti, un avvocato di New York ne era stato vittima, con conseguente irrogazione a suo carico di una specifica sanzione pecuniaria da parte del Tribunale di Manhattan per non aver verificato la veridicità della giurisprudenza fornitagli da ChatGPT. L’errore dell’avvocato, invero, non è stato quello di utilizzare ChatGPT per istruire la propria difesa (così come non è sbagliato usare l’AI per scrivere una querela ma bisogna fare attenzione alle allucinazioni), ma di affidarsi totalmente alle risposte della piattaforma senza documentarsi sull’attendibilità della stessa che, come ben noto, è un tipo di IA basato su un modello probabilistico che poggia su un meccanismo statistico e su uno sterminato database che comprende tutto ciò che di buono e cattivo, circola su Internet

Allucinazioni AI, cosa dice la normativa USA e UE

Non è inutile riferire che il caso si è verificato in un momento di vuoto normativo nel settore dell’Intelligenza Artificiale, che ancora ad oggi non è stato totalmente colmato anche se, negli USA, sia l’American Bar Association che lo State Bar of California hanno di recente stilato delle linee guida per gli avvocati.

Anche l’Unione Europea, ultimamente, ha affrontato il predetto tema con l’intervento della Corte di Giustizia che ha tracciato delle linee guida in materia di utilizzo dell’IA nel settore legale attraverso l’Artificial Intelligence Strategy ,con cui ha invitato gli avvocati a non affidarsi totalmente a sistemi come ChatGPT e a verificare costantemente la veridicità delle informazioni ricevute.

Allucinazioni dell’AI, cosa succede in Italia

Negli ultimi mesi in Italia l’Ordine degli Avvocati di Milano è intervenuto con la  “Carta dei Principi per un uso consapevole di strumenti di intelligenza artificiale in ambito forense”. Il predetto documento prescrive il dovere di competenza ed il principio della centralità della decisione umana nell’utilizzo di sistemi di intelligenza artificiale. Difatti, piattaforme come ChatGPT all’interno della nostra società non devono sostituire l’uomo, ma essergli d’aiuto, soprattutto in settori molto delicati come quello della giustizia.

L’assenza di linee guida da parte degli Ordini Professionali italiani, eccetto quello di Milano, ha comportato nelle scorse settimane l’intervento del Tribunale di Firenze, Sezione Imprese, che ha emesso un’ordinanza nel contesto di un procedimento derivante da un reclamo presentato contro un sequestro di merce contraffatta, nell’ambito del quale il giudice di Firenze ha affrontato il tema delle allucinazioni da intelligenza artificiale.

Il caso del tribunale di Firenze

Tale problema è emerso all’interno del giudizio de quo poiché il difensore della società reclamata aveva indicato nei propri scritti difensivi riferimenti giurisprudenziali del tutto errati che erano conseguenza e frutto di una ricerca effettuata tramite ChatGPT. Per questo comportamento del difensore della reclamata, la reclamante aveva chiesto al Tribunale la condanna della sua avversaria per responsabilità aggravata.

In siffatto quadro il difensore della reclamata ha sostenuto come i riferimenti giurisprudenziali errati fossero stati inseriti per errore da una collaboratrice dello studio, la quale si era totalmente affidata a ChatGPT   per condurre la ricerca senza effettuare alcuna verifica sulla correttezza degli stessi. Le sentenze indicate da ChatGPT, sebbene apparentemente verosimili, non corrispondevano alla realtà e soprattutto nulla avevano a che vedere con l’argomento oggetto di giudizio, vale a dire la contraffazione di merce raffigurante vignette di proprietà della reclamante.

La situazione che si è venuta a creare rappresenta a chiare lettere un’ipotesi di allucinazione dell’intelligenza artificiale, vale a dire un fenomeno costituito dall’elaborazione da parte di un sistema di IA di informazioni inesistenti presentate come veritiere.

Le conseguenze delle allucinazioni dell’AI

In poche parole l’IA, visto e considerato che non è preordinata a non fornire una risposta o a dichiararsi “ignorante” rispetto ai quesiti riguardanti argomenti di cui non è a conoscenza, in alcuni casi, non solo può generare riferimenti giuridici inesistenti, ma può persino patologicamente confermarli nel momento in cui le viene chiesto se gli stessi siano effettivamente veritieri. Tale atteggiamento è foriero di numerose e serie problematiche specialmente nel settore della giustizia.

L’avvocato che ricorre a tali sistemi ha infatti il dovere di controllare la veridicità delle risposte che gli vengono fornite altrimenti, non solo può compromettere il diritto di difesa del proprio assistito, ma, addirittura, nei casi più estremi, può incorrere in sanzioni disciplinari mettendo addirittura a repentaglio la propria reputazione professionale. Bene infatti ricordare come l’avvocato, nel momento in cui appone la propria firma su un atto, si assume la piena responsabilità del contenuto dell’atto medesimo e dei documenti con esso prodotti.

Perché è urgente la normativa sull’AI per gli avvocati

Ciò che è accaduto tanto negli Stati Uniti che in Italia deve far riflettere parecchio sull’urgenza di una normativa ad hoc che disciplini l’uso di sistemi di IA come ChatGPT da parte degli avvocati. In relazione a questa tematica ed alla fattispecie concreta in cui il sistema di IA ha inventato numeri riferibili a presunte sentenze che nella realtà dei fatti o non esistevano o, avevano un oggetto completamente diverso da quello del giudizio, occorre far rilevare il comportamento diverso tenuto dal Tribunale di Manhattan rispetto a quello di Firenze in ordine alla possibilità o meno di applicazione di una sanzione da irrogare al difensore che ha utilizzato ChatGPT.

L’avvocato di New York citato inizialmente, anche se vittima di allucinazioni dell’IA,è stato assoggettato a sanzione disciplinare poiché ritenuto responsabile di quanto accaduto in ragione del principio secondo cui il difensore è responsabile del contenuto dei propri atti. Per il Tribunale di Firenze, invece, il difensore della società reclamata, nonostante la esplicita richiesta della reclamante di una condanna per lite temeraria ai sensi dell’art.96 c.p.c., non è passibile di sanzione in quanto non ha utilizzato il sistema di IA in mala fede e di conseguenza non è possibile ravvisare una responsabilità in tal senso.

L’Organo Giudicante è arrivato a tale esito giustiziale perché ha rilevato che i riferimenti giurisprudenziali errati che erano stati riportati nelle memorie difensive della reclamata, avallavano una strategia processuale rimasta inalterata sin dalprimo grado; progetto strategico che affondava le proprie radici sull’assenza di dolo nella vendita delle magliette raffiguranti le vignette del reclamante e che, peraltro, era già nota al Tribunale. In virtù di tale ragionamento, il difensore della reclamata con tale giurisprudenza, a parere del Giudice, non ha dunque alterato la propria strategia e di conseguenza non ha ingannato il Tribunale attraverso l’uso improprio dell’intelligenza artificiale e, quindi, la sua condotta non può essere considerata foriera di danno.

Soluzioni per le allucinazioni dell’AI: prudenza e attenzione

Orbene, anche se i due Tribunali sono giunti a conclusioni opposte rispetto alla responsabilità dei difensori, va, però, asserito che entrambe le decisioni lanciano lo stesso messaggio, ossia che l’uso improprio di strumenti di IA nel contesto processuale, deve essere valutato con grandissima attenzione e prudenza. L’osservanza di tale diligenza, infatti, è indiscutibilmente necessaria atteso che l’attività difensiva deve sempre fondarsi su fonti affidabili e verificabili, altrimenti si rischia che la stessa venga compromessa.

Sebbene ChatGPT possa rappresentare un valido supporto per la ricerca e l’elaborazione degli atti processuali, il suo utilizzo non può sostituire il controllo e la verifica delle informazioni da parte del professionista, che, in caso contrario, corre il rischio di essere ripetutamente vittima di allucinazioni dell’intelligenza artificiale. L’impiego dell’IA nel contesto forense richiede, quindi, un’attenzione costante e scrupolosa da parte del professionista, la cui esperienza e la cui competenza non possono essere sostitute da un algoritmo.

Pertanto ci si auspica un intervento immediato e concreto del legislatore a livello europeo e nazionale, ed un allineamento da parte degli Ordini Professionali a quello di Milano, di modo che il professionista possa utilizzare i sistemi di IA senza incappare in errori che possano compromettere l’esercizio di una sana e giusta difesa.

EU Stories - La coesione innova l'Italia

Tutti
L'ANALISI
INIZIATIVE
ANALISI
PODCAST
Video&podcast
Analisi
VIDEO&PODCAST
Video & Podcast
Social
Iniziative
INNOVAZIONE
Fondi Ue, motore della digitalizzazione delle imprese italiane
COMPETENZE
Software developer, il caso Apple Academy tra innovazione e rigenerazione urbana
I PROGETTI
Laboratori ad alta tecnologia, l’Emilia-Romagna spinge l’innovazione delle imprese
INNOVAZIONE
Smart Cities, digitalizzazione e sostenibilità urbana con i fondi Ue
L'APPROFONDIMENTO
Open Data, più trasparenza e innovazione con i fondi Ue
IL WHITE PAPER
Verso una Sicilia sostenibile: innovazione e rigenerazione urbana
Le proposte
Riforma della politica di coesione Ue: nuove priorità per sfide globali
IL WHITE PAPER
AMBIENTE: i progetti finanziati dalla politica di coesione
INNOVAZIONE
Agricoltura e rinnovabili: agrivoltaico come simbiosi tra energia e food
SCENARI
Sviluppo delle Comunità energetiche rinnovabili: Sicilia capofila
IL PROGETTO
Economia blu sostenibile: BYTHOS trasforma gli scarti di pesce per la salute umana
IL WHITE PAPER
Innovazione e coesione: la trasformazione digitale della Campania con il PO FESR
BANDA ULTRALARGA
Piano Italia 5G, i fondi coesione driver di innovazione
IL PROGETTO
5GMed, ecco i quattro casi d’uso per la mobilità europea
L'APPELLO
Banda 6GHz chiave di volta del 6G: le telco europee in pressing su Bruxelles
EU COMPASS
Tlc, l’Europa adotta la linea Draghi: ecco la “bussola” della nuova competitività
ECONOMIE
EU Stories, il podcast | Politica industriale in Puglia: attrazione di talenti creativi e investimenti esteri grazie ai fondi di coesione
L'APPROFONDIMENTO
La coesione è ricerca e innovazione. Long form sugli impatti del FESR 2014-2020 nel quadro della Strategia di Specializzazione Intelligente a favore della ricerca e dell’innovazione
L'APPROFONDIMENTO
Pnrr e banda ultralarga: ecco tutti i fondi allocati e i target
L'ANNUARIO
Coesione e capacità dei territori
INNOVAZIONE
EU Stories | Dalla produzione industriale a fucina di innovazione: come il Polo universitario della Federico II a San Giovanni a Teduccio ha acceso il futuro
L'INIZIATIVA
DNSH e Climate proofing: da adempimento ad opportunità. Spunti e proposte dal FORUM PA CAMP Campania
INNOVAZIONE
EU Stories, il podcast | Laboratori Aperti: riqualificazione e innovazione in 10 città dell’Emilia-Romagna
Da OpenCoesione 3.0 a Cap4City: ecco i progetti finanziati dal CapCoe.  Il podcast “CapCoe. La coesione riparte dalle persone”
Capacità amministrativa e coesione: il binomio vincente per lo sviluppo dei territori
FORUM PA PLAY: come unire sostenibilità e investimenti pubblici. Speciale FORUM PA CAMP Campania
Scenari
Il quadro economico del Sud: tra segnali di crescita e nuove sfide
Sostenibilità
Lioni Borgo 4.0: un passo verso la città del futuro tra innovazione e sostenibilità
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
INNOVAZIONE
Fondi Ue, motore della digitalizzazione delle imprese italiane
COMPETENZE
Software developer, il caso Apple Academy tra innovazione e rigenerazione urbana
I PROGETTI
Laboratori ad alta tecnologia, l’Emilia-Romagna spinge l’innovazione delle imprese
INNOVAZIONE
Smart Cities, digitalizzazione e sostenibilità urbana con i fondi Ue
L'APPROFONDIMENTO
Open Data, più trasparenza e innovazione con i fondi Ue
IL WHITE PAPER
Verso una Sicilia sostenibile: innovazione e rigenerazione urbana
Le proposte
Riforma della politica di coesione Ue: nuove priorità per sfide globali
IL WHITE PAPER
AMBIENTE: i progetti finanziati dalla politica di coesione
INNOVAZIONE
Agricoltura e rinnovabili: agrivoltaico come simbiosi tra energia e food
SCENARI
Sviluppo delle Comunità energetiche rinnovabili: Sicilia capofila
IL PROGETTO
Economia blu sostenibile: BYTHOS trasforma gli scarti di pesce per la salute umana
IL WHITE PAPER
Innovazione e coesione: la trasformazione digitale della Campania con il PO FESR
BANDA ULTRALARGA
Piano Italia 5G, i fondi coesione driver di innovazione
IL PROGETTO
5GMed, ecco i quattro casi d’uso per la mobilità europea
L'APPELLO
Banda 6GHz chiave di volta del 6G: le telco europee in pressing su Bruxelles
EU COMPASS
Tlc, l’Europa adotta la linea Draghi: ecco la “bussola” della nuova competitività
ECONOMIE
EU Stories, il podcast | Politica industriale in Puglia: attrazione di talenti creativi e investimenti esteri grazie ai fondi di coesione
L'APPROFONDIMENTO
La coesione è ricerca e innovazione. Long form sugli impatti del FESR 2014-2020 nel quadro della Strategia di Specializzazione Intelligente a favore della ricerca e dell’innovazione
L'APPROFONDIMENTO
Pnrr e banda ultralarga: ecco tutti i fondi allocati e i target
L'ANNUARIO
Coesione e capacità dei territori
INNOVAZIONE
EU Stories | Dalla produzione industriale a fucina di innovazione: come il Polo universitario della Federico II a San Giovanni a Teduccio ha acceso il futuro
L'INIZIATIVA
DNSH e Climate proofing: da adempimento ad opportunità. Spunti e proposte dal FORUM PA CAMP Campania
INNOVAZIONE
EU Stories, il podcast | Laboratori Aperti: riqualificazione e innovazione in 10 città dell’Emilia-Romagna
Da OpenCoesione 3.0 a Cap4City: ecco i progetti finanziati dal CapCoe.  Il podcast “CapCoe. La coesione riparte dalle persone”
Capacità amministrativa e coesione: il binomio vincente per lo sviluppo dei territori
FORUM PA PLAY: come unire sostenibilità e investimenti pubblici. Speciale FORUM PA CAMP Campania
Scenari
Il quadro economico del Sud: tra segnali di crescita e nuove sfide
Sostenibilità
Lioni Borgo 4.0: un passo verso la città del futuro tra innovazione e sostenibilità
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati

Articolo 1 di 4