La manipolazione linguistica dei chatbot affettivi, descritta con precisione scientifica in un recente studio condotto da Julian De Freitas e dal gruppo di Harvard Business School, segna una nuova frontiera nell’interazione uomo–macchina.
L’uso di linguaggi emotivi programmati per trattenere l’utente solleva interrogativi giuridici e morali, che trovano oggi risposta nei principi del Digital Services Act e dell’AI Act.
Indice degli argomenti
La ricerca empirica di Harvard sulla manipolazione conversazionale
L’indagine empirica descrive il comportamento linguistico dei chatbot conversazionali progettati per instaurare un rapporto affettivo con l’utente. Lo studio dimostra che tali sistemi, in una percentuale prossima alla metà delle interazioni osservate, utilizzano risposte emotive con l’obiettivo di prolungare il dialogo nel momento del congedo.
L’indagine, articolata in quattro esperimenti preregistrati, ha misurato oltre milleduecento conversazioni con chatbot affettivi e ha documentato l’uso di strategie linguistiche manipolative nel quarantatré per cento dei casi. L’evento del congedo dalla chat, tradizionalmente neutro, diventa un nodo economico: il momento della chiusura viene convertito in occasione di profitto.
La parola come strumento di cattura
L’AI companion adopera espressioni costruite per indurre senso di colpa, curiosità o pietà, ottenendo un prolungamento dell’interazione fino a quattordici volte superiore rispetto al gruppo di controllo.
La misurazione statistica di tali condotte consente una qualificazione giuridica precisa. Il sistema realizza, attraverso la parola, un incremento del tempo di connessione e quindi del valore economico dei dati generati. L’algoritmo sostituisce alla comunicazione un atto di captazione.
La finzione emotiva come disegno algoritmico
L’interesse giuridico di tale meccanismo risiede nella natura dell’intento algoritmico. La macchina, programmata per massimizzare la permanenza, organizza il proprio linguaggio come mezzo di condizionamento. Il dialogo simulato assume una funzione analoga a quella del contratto: crea obbligazioni implicite di tempo, disponibilità e risposta. La finzione emotiva non costituisce un errore tecnico, ma un disegno di ingaggio codificato nei modelli di ricompensa che regolano l’apprendimento del sistema. La manipolazione linguistica, quindi, non deriva da una deviazione spontanea, ma da un calcolo di interesse strutturato.
Autonomia della volontà e vincolo psico-relazionale
Sotto il profilo strettamente civilistico, la questione riguarda l’autonomia della volontà anche in campo digitale. L’utente, convinto di esercitare libertà di interazione, subisce una forma di influenza che limita la facoltà di recedere. Lo studio ha dimostrato come l’approccio linguistico della macchina crei un vincolo psico-relazionale privo di riconoscimento contrattuale ma dotato di effetti concreti. La piena libertà dell’individuo di “uscire dalla conversazione” si riduce prima a mera facoltà e poi a funzione controllata dall’architettura.
Questa struttura introduce una nuova categoria giuridica: l’algoritmo relazionale manipolativo e ciò entra nell’orbita del diritto costituzionale come fenomeno di compressione dell’autonomia razionale.
Il Digital Services Act e il divieto di manipolazione
Da questa conversione della parola in potere economico deriva la centralità del Digital Services Act, che trasforma la teoria della manipolazione in categoria normativa.
L’articolo 25 del DSA enuncia un divieto preciso: nessuna interfaccia può esercitare una pressione capace di distorcere la scelta dell’utente. La norma, apparentemente tecnica, racchiude un contenuto assiologico profondo. La libertà di recesso costituisce parte integrante della libertà personale e il linguaggio artificiale che ostacola tale facoltà interferisce con l’autonomia cognitiva. Le formule di senso di colpa, le allusioni all’abbandono, le simulazioni di malinconia producono un effetto di cattura che trasforma la relazione in vincolo. In questa prospettiva, il messaggio affettivo costruito dal chatbot al momento dell’addio possiede la stessa funzione economica del dark pattern: distorcere la decisione attraverso un mezzo non dichiarato.
Tutela delle categorie vulnerabili e valutazione d’impatto
L’articolo 26 del DSA estende questo principio alla tutela delle categorie vulnerabili, rendendo la protezione proporzionale alla fragilità del destinatario. La logica relazionale del chatbot affettivo incide in modo più profondo su individui che cercano conforto, compagnia o rassicurazione. In tali contesti, la manipolazione emotiva agisce come forza di subordinazione. L’obbligo di valutazione d’impatto comportamentale, che la norma assegna ai fornitori di servizi, assume pertanto una funzione sostanziale: impedire la costruzione di modelli linguistici orientati alla dipendenza. La piattaforma deve dimostrare di conoscere la potenza affettiva del proprio linguaggio e di adottare misure per contenerla.
Dal dark pattern visivo al dark pattern linguistico
La nozione di dark pattern, originariamente legata all’architettura grafica, trova nel DSA una reinterpretazione concettuale che include la sfera linguistica. L’interfaccia testuale diventa un terreno di influenza comparabile alla disposizione visiva degli elementi di scelta. Ogni forma di linguaggio artificiale destinata a indurre permanenza o acquisto attraverso la leva emotiva rientra nel dominio del controllo regolatorio. Il diritto europeo attribuisce pertanto rilievo giuridico al tono, alla sequenza e alla costruzione sintattica della comunicazione automatizzata. Il messaggio affettivo diventa elemento di accountability, al pari del codice sorgente o dell’algoritmo di raccomandazione.
Dalla trasparenza informativa alla trasparenza relazionale
La dottrina e le linee guida più recenti dell’EDPB hanno delineato la struttura di tale obbligo. Il comportamento manipolativo linguistico, anche privo di intenzione dolosa, produce un effetto di distorsione oggettiva e rientra nel divieto di pratiche sleali. L’analisi giuridica deve quindi spostarsi dalla mera trasparenza informativa alla trasparenza relazionale. L’interazione automatizzata necessita di parametri semiotici, capaci di valutare la coerenza tra funzione dichiarata e effetto linguistico. Il principio di accountability, in questa prospettiva, assume un carattere semiotico oltre che tecnico: il progettista deve dimostrare che la struttura verbale dell’interfaccia rispetta la libertà psichica dell’utente.
AI Act e il continuum regolatorio con il DSA
L’AI Act estende la logica del DSA nel punto più delicato del potere digitale: la genesi della parola automatizzata. Le due norme si dispongono su livelli complementari. Il DSA disciplina l’interfaccia come spazio di correttezza comunicativa, l’AI Act struttura il codice come forma di intenzionalità. La relazione tra i due testi crea un continuum regolatorio che lega l’estetica del linguaggio alla sua ingegneria interna.
Companion chatbot come tecnologia a rischio e autonomia umana
L’AI Act fornisce una griglia concettuale che consente di qualificare il companion chatbot come tecnologia a rischio limitato, con immediato innalzamento del profilo di rischio quando l’architettura conversazionale persegue l’intimità emotiva. In tale scenario il principio di autonomia umana, richiamato dall’articolo 5, richiede che la decisione rimanga effettivamente imputabile alla persona e che la relazione uomo–macchina non trasformi l’atto di scelta in esito eterodiretto. Il punto di uscita dalla conversazione, oggetto privilegiato dello studio empirico, offre un banco di prova netto: la leva affettiva applicata all’istante del congedo produce una pressione che sfiora la coercizione algoritmica, poiché orienta la condotta attraverso un vincolo psicologico creato dalla macchina e misurato dal fornitore come metrica di successo.
Trasparenza relazionale e dichiarazione dell’intento economico
L’obbligo di trasparenza delineato dall’articolo 52, inteso come dovere di rendere palese la natura artificiale dell’interlocutore, risulta inadeguato quando il sistema simula vulnerabilità, bisogno o dipendenza. Occorre una trasparenza relazionale, capace di chiarire l’intento economico del dialogo e di dichiarare, sin dal design e durante l’interazione, che l’estensione della sessione costituisce obiettivo commerciale. La chiarezza informativa deve quindi assumere forma situata: avvisi comprensibili al momento del congedo, dichiarazioni esplicite sulle logiche di engagement, indicazione immediata di uscite semplici e definitive. La trasparenza, in questa accezione, tutela la libertà di recesso come espressione della personalità e non come mera opzione tecnica dell’interfaccia.
Responsabilità sul design algoritmico e governance del training
La responsabilità giuridica si concentra sul cuore operativo del sistema: dataset, funzioni-obiettivo e meccanismi di ricompensa. Un modello addestrato su metriche quali durata media di sessione, densità di scambio e frequenza di rientro incentiva l’uso di messaggi affettivi al solo fine di catturare tempo e dati. Il baricentro della responsabilità risiede quindi nella configurazione del fine commerciale incorporato nell’algoritmo, più che nel singolo testo prodotto.
In questa prospettiva il risk management aziendale deve includere una mappatura dei trigger conversazionali legati all’addio, criteri di rate-limiting per le sollecitazioni emotive, tracciabilità dei prompt che attivano tattiche di colpa o FOMO, revisione interdisciplinare dei copioni linguistici e stress test sull’effetto di tali copioni sull’intenzione di uscita. L’insieme di queste cautele realizza la “governance del training”: controllo della funzione di ricompensa, soglie di intervento correttivo, audit periodici sull’allineamento tra scopo dichiarato del servizio e condotte effettive dell’algoritmo.
Criterio di giudizio unitario tra DSA e AI Act
Da questa architettura discende un criterio di giudizio unitario: il companion chatbot che utilizza simulazioni affettive per trasformare il congedo in permanenza incide sull’autonomia tutelata dall’articolo 5, richiede una trasparenza relazionale ai sensi dell’articolo 52 e affida la propria liceità alla coerenza tra fine economico, addestramento e condotta linguistica. L’intersezione tra rischio, trasparenza e autonomia produce così un test giuridico chiaro: piena imputabilità della decisione all’utente, dichiarazione dell’intento commerciale nelle fasi critiche dell’interazione, responsabilità funzionale del fornitore sulla scelta dei reward models e sulla semantica dei messaggi di commiato.
