L’intelligenza artificiale ha trasformato in maniera radicale il paradigma della domanda e dell’offerta, introducendo strategie di comunicazione e di marketing sempre più efficaci e personalizzate.
Tra gli strumenti più diffusi, figurano i cosiddetti sistemi di raccomandazione (o recommender system – “RS”), basati sull’analisi dei big data e sull’utilizzo di algoritmi di machine learning. Il loro obiettivo principale?
Suggerire contenuti, prodotti o servizi in base ai comportamenti e alle preferenze degli utenti, generando benefici economici per le piattaforme digitali e migliorando al contempo l’esperienza di fruizione dei consumatori.
Se da un lato gli RS possono agevolare l’accesso alle informazioni e incrementare il coinvolgimento dell’utente, dall’altro rischiano di alimentare problematiche come la diffusione di contenuti polarizzanti o dannosi.
Ma cosa s’intende esattamente per RS e in che misura questi sistemi incidono sul quadro normativo di riferimento, influenzando le scelte degli utenti? Come si avrà modo di approfondire, benché non rientrino tra i sistemi di AI classificati ad alto rischio, gli RS sollevano questioni giuridiche e regolamentari di rilievo, soprattutto in relazione ai diritti fondamentali, alla sicurezza e all’integrità dell’informazione.
Indice degli argomenti
Definizione e tipologie di sistemi di raccomandazione
Nel Digital Service Act, il Regolamento (UE) 2065/2022 o DSA, gli RS vengono definiti come sistemi interamente o parzialmente automatizzati che una piattaforma online utilizza per proporre informazioni specifiche agli utenti o per stabilire un ordine di priorità, anche come risultato di una ricerca avviata dall’utente. In sostanza, rappresentano una versione tecnologica e automatizzata del tradizionale passaparola.
Le principali categorie di RS sono tre:
- Filtraggio collaborativo (collaborative filtering): analizza le analogie tra diversi utenti per offrire suggerimenti basati sulle preferenze di persone con comportamenti affini. Amazon e Spotify ne fanno largo uso per personalizzare rispettivamente esperienze di acquisto e sessioni d’ascolto;
- Filtraggio basato sui contenuti (content-based filtering): propone raccomandazioni basandosi sulle caratteristiche di prodotti o contenuti precedentemente apprezzati o acquistati dall’utente;
- Sistemi ibridi (hybrid filtering): combinano i due approcci precedenti per rendere ancora più precise le raccomandazioni. Netflix, ad esempio, impiega questa strategia per suggerire film e serie TV in modo più mirato.
Da un lato, gli RS promuovono vantaggi economici per le piattaforme online, incrementandone le vendite e garantendo la fidelizzazione degli utenti; dall’altro, migliorano l’esperienza di chi fruisce del servizio, offrendo contenuti calibrati sulle sue reali esigenze. Va tuttavia evidenziato che il loro funzionamento si basa su un’ingente raccolta di dati e pone interrogativi riguardo alla protezione dei dati personali e alla gestione di eventuali bias algoritmici.
I rischi dei sistemi di raccomandazione: bias, polarizzazione e manipolazione cognitiva
Dall’acquisto di un prodotto su Amazon alla scelta di una serie TV su Netflix o di un video su YouTube, gli RS influenzano – in modo spesso opaco – le decisioni di miliardi di persone. Il loro nucleo tecnologico consiste in modelli di machine learning ottimizzati per fornire suggerimenti pertinenti e ridurre il rumore informativo. Tuttavia, è noto che tali algoritmi possono incorporare bias già presenti nei dati di addestramento – siano essi raccolti, etichettati o provenienti da fonti esterne – e perfino amplificarli, creando distorsioni che in alcuni casi risultano lesive per gli utenti.
Oltre a ciò, l’adozione degli RS pone questioni rilevanti sul piano cognitivo e sociale. Se da un lato la personalizzazione algoritmica migliora la user experience, dall’altro può sfociare in fenomeni di manipolazione cognitiva e limitazione dell’autonomia decisionale, contribuendo alla diffusione di contenuti disinformativi e favorendo processi di radicalizzazione ideologica.
Non va trascurata altresì la portata economica di tali sistemi: le piattaforme che dispongono di enormi quantità di dati comportamentali, unitamente ad algoritmi di inferenza, sono in grado di prevedere e orientare l’attenzione degli utenti con un’accuratezza senza precedenti[1]. L’interesse commerciale è evidente: più un individuo è coinvolto, più tempo rimane sulla piattaforma, più dati vengono raccolti, con un conseguente perfezionamento delle raccomandazioni e un incremento della redditività complessiva.
Questo meccanismo solleva però rilevanti dubbi in merito alla protezione dei dati personali e al rischio di profilazione. Gli RS non si limitano infatti ad analizzare il comportamento online dell’utente, ma lo correlano con dati estrapolati da altre fonti – geolocalizzazione, cronologia di navigazione, acquisti online – tracciando profili molto dettagliati, spesso senza che la persona abbia espresso un consenso davvero consapevole[2].
In aggiunta, l’iper-personalizzazione può incoraggiare abitudini compulsive, favorendo la dipendenza digitale, l’isolamento sociale e problemi legati alla salute mentale – come ansia e depressione[3], così come dare origine anche a quelle che vengono definite “bolle informative”, limitando l’accesso a opinioni diverse e riducendo la capacità di analisi critica degli utenti, con il rischio di alterare la percezione del contesto sociale.
Un esempio lampante di tali questioni è l’enorme diffusione di fake news sulle piattaforme social, spesso potenziata da algoritmi che prediligono contenuti ad alto livello di interazione, a prescindere dalla loro veridicità. Le contromisure messe in atto – come la rimozione tardiva di contenuti disinformativi – non sempre risultano efficaci, dal momento che i meccanismi di amplificazione algoritmica possono creare effetti persistenti e difficili da arginare.
Alla luce di queste criticità, diventa quindi urgente una riflessione giuridica volta a disciplinare l’uso degli RS, cercando di bilanciare l’innovazione tecnologica con la tutela effettiva dei diritti fondamentali, in particolare per quanto riguarda il diritto all’informazione, la protezione dei dati e la libertà di autodeterminazione. In questo scenario, il legislatore europeo ha introdotto una serie di disposizioni volte a bilanciare l’innovazione tecnologica con la tutela dei diritti fondamentali. “Tre sono i principali riferimenti normativi con cui la disciplina dei sistemi di raccomandazione si interseca in modo particolarmente rilevante:
- il Regolamento generale sulla protezione dei dati (Regolamento (UE) 679/2016 – GDPR), che salvaguarda i diritti delle persone fisiche in materia di trattamento dei dati personali e, di conseguenza, rileva ogniqualvolta gli RS comportino profilazione o decisioni automatizzate;
- il Digital Services Act (DSA), che introduce regole specifiche per migliorare la trasparenza e la responsabilità delle piattaforme online – incluse quelle di grandi dimensioni VLOPs e VLOSEs – in relazione ai sistemi di raccomandazione; e
- l’AI Act (Regolamento (UE) 1689/2024), ovvero il regolamento europeo di recente adozione che classifica i sistemi di intelligenza artificiale in base al livello di rischio e stabilisce specifici requisiti di affidabilità e supervisione.
Nei paragrafi che seguono, si approfondiranno dapprima gli obblighi previsti dal DSA, per poi passare all’analisi dell’AI Act e al dibattito sulla classificazione degli RS tra i sistemi a rischio limitato o, al contrario, ad alto rischio.
I sistemi di raccomandazione alla luce del DSA
Con il DSA, l’Unione europea ha varato un quadro normativo più articolato per le piattaforme online, con l’obiettivo di garantire maggiore responsabilità e trasparenza nella gestione dei contenuti digitali, ponendo in primo piano la difesa dei diritti dei consumatori.
Una delle novità più significative del DSA riguarda proprio i sistemi di raccomandazione, che incidono in misura rilevante sulla selezione e la diffusione dei contenuti e, di conseguenza, sul comportamento degli utenti. In nome della trasparenza, il DSA esige che i fornitori di piattaforme online illustrino (e motivino[5]) i parametri su cui si basano gli RS e rendano disponibili funzionalità per modificarli o influenzarli.
Nel caso di VLOPs e VLOSEs, le prescrizioni si fanno ancora più stringenti. Tali operatori devono infatti:
- garantire che almeno un’opzione degli RS non si basi sulla profilazione[6], in risposta alle preoccupazioni crescenti relative alla protezione dei dati personali e alle implicazioni etiche degli algoritmi predittivi;
- effettuare un’analisi puntuale dei rischi sistemici correlati alle loro piattaforme, adottando misure idonee a mitigarli. Tali valutazioni devono prendere in considerazione anche l’incidenza degli RS e di altri sistemi algoritmici nella generazione di effetti negativi, come la propagazione di disinformazione o contenuti nocivi.
I sistemi di raccomandazione alla luce del dell’AI Act
Gli RS incarnano un esempio concreto di come l’intelligenza artificiale sia integrata e regolamentata nell’ambito dei servizi digitali, e pertanto rientrano anche nel perimetro di applicazione dell’AI Act. Il Regolamento europeo, in questo caso, mira a garantire che i sistemi di AI siano affidabili e sicuri, nonché conformi alla legge e ai valori fondamentali dell’UE, adottando un approccio basato sul rischio. In sostanza, l’AI Act distingue quattro fasce di rischio (inaccettabile, elevato, limitato e minimo), collegando a ciascun livello obblighi via via più gravosi.
Per i sistemi di AI identificati come ad alto rischio per la sicurezza o i diritti fondamentali, l’AI Act prevede, ad esempio, standard particolarmente rigorosi in termini di governance, trasparenza e supervisione. Si tratta di sistemi che, a seconda dei casi, sono progettati come componenti di sicurezza di un prodotto o ne costituiscono essi stessi la sostanza, oppure operano in contesti critici come la biometria, le infrastrutture essenziali, o l’accesso al lavoro autonomo.
Non rientrano in questa categoria gli RS, che di conseguenza sono assoggettati solo agli obblighi informativi più leggeri tipici dei sistemi a rischio limitato[7]. In pratica, ai fornitori e ai deployer viene richiesto di garantire determinate forme di trasparenza verso le persone esposte, come dichiarare con chiarezza quando si sta interagendo con un sistema di AI o quando un contenuto è stato generato o manipolato in maniera artificiale.
Ma gli RS generano davvero solo rischi limitati?
A ben guardare, gli RS rientrano pienamente nella definizione di sistema di AI: sono sistemi automatizzati, capaci di operare con un certo grado di autonomia, elaborando input e generando output mediante tecniche di machine learning, influenzando in modo sostanziale gli ambienti virtuali[8]. Ciononostante, l’AI Act li colloca tra i sistemi a rischio limitato, lasciando in disparte la proposta – avanzata in Parlamento europeo – di includere gli RS utilizzati dai VLOPs tra i sistemi di AI ad alto rischio[9].
Tale esclusione può apparire discutibile se si considera l’impatto tangibile di questi sistemi. Gli RS, infatti, possono amplificare la disinformazione, facilitare la circolazione di contenuti dannosi e condizionare profondamente la sfera cognitiva e sociale degli utenti. Nello stesso tempo, le VLOPs – già sottoposte al DSA – hanno l’onere di effettuare valutazioni del rischio rispetto agli algoritmi che impiegano, compresi quelli di raccomandazione. Analisi simili, per i sistemi di AI ad alto rischio, sono prescritte espressamente dall’AI Act: occorre infatti predisporre un sistema di gestione dei rischi che copra l’intero ciclo di vita del sistema e includa misure idonee a contenerne gli effetti negativi.
Concentrarsi sulle sole misure di trasparenza rischia dunque di rivelarsi insufficiente a gestire l’impatto sistemico degli algoritmi di raccomandazione. È vero che questi strumenti agevolano la personalizzazione e riducono il sovraccarico informativo, ma la loro capacità di plasmare il comportamento degli utenti, accertata da numerosi studi, non può essere sottovalutata.
DSA e AI Act rappresentano sì un passo in avanti nella regolamentazione di tali dinamiche, introducendo principi di supervisione e accountability, ma rimane da chiedersi se sia effettivamente adeguato classificare gli RS come sistemi a rischio solo “moderato”.
Un esempio significativo è l’influenza degli RS sui minorenni. Secondo Amnesty International[10], l’algoritmo di raccomandazione di TikTok – sommato alle strategie di raccolta dati molto pervasiva – può nuocere agli utenti più giovani, esponendoli a contenuti pericolosi per la loro salute mentale. Contestualmente, la Commissione europea ha avviato un’inchiesta formale contro la piattaforma cinese, ipotizzando la violazione del DSA per mancata valutazione e riduzione dei rischi sistemici in tema di integrità elettorale. Gli accertamenti vertono in particolare su potenziali fenomeni di manipolazione coordinata legati agli RS di TikTok, specie in vista di appuntamenti elettorali fondamentali.
Gli RS, lungi dall’essere neutri, seguono logiche di ottimizzazione che possono confliggere con la tutela dei diritti fondamentali, specialmente quando coinvolgono soggetti vulnerabili o questioni particolarmente sensibili. Alla luce di questi rischi, appare quantomeno opportuno riesaminare la posizione degli RS all’interno dell’AI Act, valutando l’ipotesi di inserirli tra i sistemi di AI ad alto rischio. Il Regolamento, infatti, prevede la possibilità di rivedere l’Allegato III, e ciò consentirebbe di estendere agli RS gli obblighi di gestione e monitoraggio del rischio che già gravano sui sistemi più critici, garantendo una protezione più completa per i diritti e le libertà individuali.
Conclusioni
I sistemi di raccomandazione rappresentano, oggi, un tassello strategico per qualunque piattaforma online che ambisca a migliorare l’esperienza utente e a generare valore economico. Tuttavia, non possiamo ignorare l’ampio ventaglio di rischi correlati, soprattutto sotto il profilo della protezione dei dati personali, della trasparenza algoritmica e della responsabilità in caso di contenuti nocivi o fuorvianti.
La normativa europea – dal GDPR al DSA, fino al recente AI Act – fornisce un quadro di regole sempre più organico, invitando le imprese a coniugare le soluzioni tecnologiche più innovative con una gestione responsabile dei dati. In questo senso, la valutazione dei rischi sistemici e il rispetto degli obblighi di accountability non devono essere percepiti come meri oneri formali, ma come strumenti per rafforzare la fiducia degli utenti e, di conseguenza, la solidità del modello di business.
Pertanto, in un’ottica di compliance integrata, le aziende dovranno investire in procedure di governance interna e in audit periodici sui propri algoritmi di raccomandazione, così da prevenire – o quanto meno mitigare – effetti collaterali come la manipolazione cognitiva, la disinformazione e la creazione di bolle informative. Al tempo stesso, occorrerà lavorare sul piano contrattuale per definire con chiarezza le responsabilità lungo l’intera filiera del trattamento, assicurando che i fornitori di dati, gli sviluppatori di algoritmi e le stesse piattaforme online rispettino standard di sicurezza e di trasparenza.
In prospettiva, diventa essenziale che le imprese non considerino la conformità normativa come un ostacolo, bensì come parte integrante di un approccio sostenibile all’innovazione, capace di valorizzare le potenzialità dell’AI e al contempo di salvaguardare i diritti fondamentali degli utenti.
L’adozione di adeguate misure di tutela e la predisposizione di procedure interne di controllo e monitoraggio non solo riducono l’esposizione a rischi sanzionatori e reputazionali, ma concorrono anche a creare un ecosistema digitale più affidabile e inclusivo, in cui gli RS possano esprimere appieno la propria utilità senza tradursi in un pericolo per l’autonomia e la dignità delle persone.
Note
[1] Zuboff, S. (2019). The age of surveillance capitalism: The fight for a human future at the new frontier of power. Profile Books.
[3] Ad esempio, è stato analizzato come Instagram aggravasse problematiche relative all’immagine corporea, all’ansia e alla depressione tra gli adolescenti. Gayle, D. (2021, September 14). Facebook aware of Instagram’s harmful effect on teenage girls, leak reveals. The Guardian.
[4] VLOPs e VLOSE rappresentano i c.d. gatekeeper, vale a dire piattaforme digitali che ricoprono un ruolo sistemico nel mercato interno (con oltre 45 milioni di utenti attivi), identificate dalla Commissione europea ai sensi dell’art. 33 del DSA. Il DSA è entrato in vigore il 16 novembre 2022, inizialmente con applicazione parziale rivolta ai soli gatekeeper; dal 17 febbraio 2024 si estende anche alle piattaforme o ai motori di ricerca con meno di 45 milioni di utenti attivi.
[5] Ciò significa che i fornitori devono illustrare i criteri più rilevanti adottati per determinare la selezione dei contenuti da raccomandare e le ragioni che ne giustificano l’importanza.
[6] L’European Data Protection Supervisor (EDPS) ha chiarito che questa dovrebbe essere la configurazione di default, in linea con il principio di privacy by default ex art. 25 del GDPR. Cfr. EDPS, Opinion on the European Commission’s proposal for a Digital Services Act (Opinion 1/2021).
[7] L’art. 50 dell’AI Act stabilisce obblighi di trasparenza sia per i fornitori sia per i deployer. In particolare, i primi devono (i) informare in modo esauriente le persone che hanno un contatto diretto con l’AI, a meno che non sia ovvio di per sé, e (ii) assicurare che l’output del sistema sia etichettato in formato leggibile e riconoscibile come generato o manipolato automaticamente. I deployer, poi, se impiegano sistemi di riconoscimento delle emozioni o di categorizzazione biometrica, devono fornire informazioni chiare alle persone esposte, trattando i dati in conformità al GDPR; se invece utilizzano sistemi di AI per generare o manipolare immagini, audio o video (deep fake) o testi destinati a informare il pubblico su questioni di rilievo generale, devono segnalare che il contenuto è stato creato o modificato artificialmente.
[8] A febbraio, la Commissione europea ha pubblicato delle Linee Guida sulla definizione di un sistema di AI, individuando sette elementi fondamentali (sistema automatizzato, autonomia, adattabilità, obiettivi del sistema, inferenza, output e influenza sugli ambienti).
[9] Parlamento europeo, Emendamenti alla proposta di AI Act, approvati il 14 giugno 2023, Emendamento 740.
[10] Amnesty International, Driven into the darkness. How TikTok’s “for you” feed encourages self-harm and suicidal ideation, 2023.
