Il Regolamento europeo sull’intelligenza artificiale AI Act (Regolamento EU 2024/1689 del Parlamento europeo e del Consiglio) ha individuato una serie di pratiche realizzate con sistemi di IA vietate, tra cui quelle che permettono ad attori pubblici o privati di attribuire un punteggio sociale alle persone fisiche, con l’intento di scongiurare possibili discriminazioni ed ogni altra esclusione sociale. Tuttavia, da un’attenta lettura del dato normativo, il Regolamento non procede con un netto divieto, piuttosto disciplina le modalità con cui il sistema di IA possa attribuire tale punteggio.
Il presente contributo, partendo da una provocazione di una nota serie televisiva antologica distopica quale espediente introduttivo, procede con una breve descrizione del Sistema di credito sociale (SCS) utilizzato in alcune località della Repubblica Popolare Cinese quale esempio concreto di attuazione del social score, per offrire quindi una disamina ermeneutica delle disposizione introdotte dal GDPR prima e riprese dall’AI Act, con l’obiettivo di cogliere la disciplina di una pratica vietata solo in presenza di talune specifiche condizioni.
Indice degli argomenti
Il quadro normativo europeo e i rischi del social scoring
Il Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio che stabilisce regole armonizzate sull’intelligenza artificiale è entrato in vigore il 1° agosto 2024 e reca una disciplina giuridica tesa a garantire che i sistemi di intelligenza artificiale (IA) siano sviluppati e utilizzati in modo responsabile, imponendo obblighi ai fornitori e ai deployer e regolamentando l’autorizzazione dei sistemi di IA nel mercato unico UE.
Ma il Regolamento assume particolare importanza per la consapevolezza dei rischi connessi all’utilizzo indiscriminato dei sistemi di IA, quali distorsioni, discriminazioni e lacune in materia di responsabilità. Per tal motivo il Regolamento individua una serie di pratiche di IA vietate, tra le quali si pone l’attribuzione automatizzata di un punteggio sociale, foriero di tutti quei rischi che il Regolamento vuole scongiurare.
Con il presente contributo vuol prendersi in esame proprio il social scoring, attraverso l’esempio offerto dal Sistema di credito sociale cinese, sì da individuare divieti e limiti sanciti dal Legislatore eurounitario, anche alla luce delle Linee Guida della Commissione europea adottate il 4 febbraio 2025 sulle pratiche vietate dall’art. 5 del Regolamento.
Dal racconto distopico al dibattito giuridico sul punteggio sociale
Black Mirror, la serie televisiva britannica antologica ideata da Charlie Brooker, ha destato particolare interesse per il modo di descrivere la degenerazione dell’incedere e del progredire delle nuove tecnologie. Per quanto qui di interesse, un episodio merita particolare attenzione. Si tratta del primo episodio della terza stagione intitolato “Nosedive”, in Italia “Caduta Libera”, il primo episodio della terza stagione andato in onda il 21 ottobre 2016.
In breve, in una società tecnologicamente avanzata, chiunque può assegnare un voto, positivo o negativo (da una a cinque stelle), alle altre persone, a seconda dell’esperienza avuta dall’interazione con queste. Ciò avviene attraverso lo smartphone, in grado di riconoscere la persona e far visualizzare il suo “punteggio”, vale a dire il giudizio positivo o negativo di cui gode. Tale “punteggio” è però il presupposto per l’accesso a determinati servizi, a volte riservati solo a chi ha un determinato punteggio (la possibilità di locare o acquistare casa nei luoghi più esclusivi, oppure la possibilità di acquistare in via preferenziale un biglietto, come anche la possibilità di svolgere un determinato tipo di lavoro). Per intenderci, il sistema di interazioni di gradimento degli attuali social media (il “Mi piace” di Facebook, il cuoricino di Instagram o TikTok, il “Consiglia” di LinkedIn e via dicendo) nella trama distopica dell’episodio diventano valutazioni di gradimento sulla persona, in base all’esperienza di interazione avuta con la stessa.
Ogni comportamento ritenuto inappropriato, ogni piccolo accesso di rabbia o una banale imprecazione sono causa di una valutazione negativa da parte dei consociati, tanto da dover adeguare il temperamento in modo da non urtare minimamente la sensibilità di chi può (e vuole) dare un punteggio al contegno tenuto. Sino a guadagnare un punteggio negativo a fronte di un punteggio positivo ritenuto accordato solo per ingraziarsi le simpatie dell’interlocutore.
Uno stress cronico e persistente con cui ognuno deve fare i conti, nella consapevolezza che un discostamento dal copione spersonalizzante così imposto possa condurre ad un punteggio basso, con delle conseguenze gestibili, dall’esclusione da tutta una serie di servizi sino a giungere alla vera e propria emarginazione sociale.
Certamente si tratta di un’esagerazione che vuole scuotere e disorientare, ma allo stesso tempo anche far riflettere. Come ogni racconto distopico che si rispetti, d’altronde. E come ogni buon racconto distopico, l’episodio di Black Mirror è stato ben lungi dall’inscenare possibili oscure future realtà dalle inesplorate caratteristiche, basandosi piuttosto su una didascalica estremizzazione di quei caratteri di cui la realtà era già gravida, rimestando tra elementi presenti e spinti verso una possibile (quanto a volte probabile) deriva in cui degenerare.
In fin dei conti, l’obiettivo tipico dei racconti distopici è proprio quello di condurre alla riflessione attraverso l’espediente narrativo dell’esasperazione di qualcosa che è in atto, anche quando non potrebbe giungersi ai preoccupanti risvolti rappresentati. L’iperbole così ottenuta è funzionale a rafforzare il significato ultimo che si vuole veicolare. E nel caso dell’episodio di cui si è tracciato un qualcosa in meno della trama, il messaggio veicolato appare chiaro: le interazioni cui siamo abituati nel mondo dei social media hanno un significato del tutto diverso nella quotidianità della realtà fisica, potendo ingenerare delle deformazioni in grado di condizionare il vissuto, immolando la personalità sull’altare del gradimento sociale e in funzione di una vita di relazione sempre più stereotipata, codificata in regole cui tutti devono uniformarsi.
L’episodio è andato in onda per la prima volta nell’ottobre 2016, ben otto anni prima dell’emanazione del Regolamento europeo sull’intelligenza artificiale e appena due anni dopo dall’emanazione delle “Linee guida per la costruzione del sistema di credito sociale (2014-2020)” da parte del Consiglio di Stato cinese, un sistema ancora nella sua fase di congettura.
Accantonata ogni sterile dietrologia, gli autori dell’episodio in argomento hanno avuto il merito di saper leggere l’attualità e il contesto, così da poter creare quell’esaltazione necessaria per incidere nell’immaginario collettivo, spingendo a possibili e plurime riflessioni.
Ma ciò che nel 2016 era solo (quanto meno apparentemente e pubblicamente) immaginabile, il social score adesso è un argomento destinato a far discutere. L’ingente mole di dati, ottenuti e facilmente ottenibile, possono essere analizzati dai sistemi di intelligenza artificiale in tempi davvero irrisori. Da qui la necessità non più di una disciplina meramente tecnica, bensì di una disciplina normativa, quindi prescrittiva e sanzionata, che individui le pratiche di IA vietate.
Tra queste, proprio l’attribuzione di un punteggio sociale attraverso sistemi di IA, sintomatico di una chiara consapevolezza del Legislatore eurounitario sull’attuale possibilità di attribuzione di un punteggio sociale attraverso sistemi di intelligenza artificiale.
Il sistema di credito sociale cinese tra controllo e incentivi
Il Regolamento europeo sull’intelligenza artificiale, di fatto, prende posizione su una pratica ben lontana dalla sua irrealizzazione.
Basti pensare al Sistema di credito sociale (SCS) operante nella Repubblica Popolare Cinese (会信用体系, Shèhuì xìnyòng tǐxì), che può essere definito come un insieme di progetti per assegnare punteggi e classificare cittadini, aziende e organizzazioni sulla base del loro comportamento, allo scopo di monitorare, valutare e indirizzare gli atteggiamenti dei soggetti attraverso meccanismi di punizione e ricompensa[1].
Teorizzato sin dagli anni Cinquanta per permettere alla società di autocorreggersi attraverso l’uso della tecnologia[2], il sistema trae origine dall’esperienza dei diversi programmi di crediti finanziari che cominciarono ad utilizzarsi in Cina su ispirazione di taluni modelli occidentali come ICO negli Stati Uniti[3] e Schufa in Germania[4]. Infatti i primi riferimenti del PCC a un sistema di credito sociale sono di natura economica, tant’è che nel 2002, durante il XVI congresso del Partito, il segretario e presidente della Repubblica Popolare Cinese Jiang Zemin affermò la necessità di «rettificare e uniformare l’ordine dell’economia di mercato e stabilire un sistema di credito sociale compatibile con una moderna economia di mercato», tant’è che il piano quinquennale 2006-2010 menzionava il sistema di credito sociale nella sezione “Standardizzare l’ordine del mercato” e la Commissione Interministeriale formata nel 2007 per lavorare sull’implementazione del progetto era formata dalle principali istituzioni economiche del Paese[5].
Tale sistema è stato ufficialmente delineato dal Consiglio di Stato cinese nel 2014 nello “Schema di pianificazione per la costruzione del sistema di credito sociale (2014-2020)”, con l’obiettivo di realizzarlo entro il 2020. Come si legge dal documento programmatico[6], la genesi tutta proiettata alla sfera economico-finanziaria veniva sin da subito tradita dalla mai celata “esigenza generale di rafforzare la sincerità negli affari di governo, la sincerità commerciale, la sincerità sociale e la costruzione della credibilità giudiziaria… di istituire e completare un sistema di credito sociale, lodare la sincerità e punire l’insincerità”, divenendo così anche “un elemento fondamentale per la valutazione degli obiettivi e dei compiti lavorativi e per la valutazione dei risultati di carriera dei funzionari”.
Mentre in un primo momento tali Linee guida individuavano il Sistema di credito sociale come un sistema di “segnalazione” e “regolamentazione” creditizia-amministrativa volta ad aumentare la “solvibilità” individuale, di lì a poco i regolamenti regionali lo definirono come un sistema di valutazione della conformità di un’organizzazione o di un individuo agli obblighi di legge[7].
Il Sistema di credito sociale valuta i comportamenti dei cittadini categorizzandoli in affidabili e inaffidabili. I comportamenti politici non sono l’unico criterio per classificare i cittadini in categorie, contribuendo in tal senso a costruire l’idealtipo di cittadini “cattivi” (inaffidabili) e “buoni” (affidabili) in relazione ad una vasta gamma di comportamenti, tra cui la condotta finanziaria e professionale, ma anche il rispetto delle leggi e dei regolamenti, la solidità finanziaria e il comportamento sociale e morale. All’interno dei vari progetti del SCS, sono stati istituiti elenchi pubblici, come le “redlist” per i cittadini esemplari e le “blacklist” per quelli considerati non affidabili, con assegnazione o decurtazione di punti per determinare una serie di privilegi (sconti sui servizi pubblici, accesso ai prestiti bancari, priorità nell’assegnazione di alloggi popolari) o restrizioni (inibizione nell’acquisto di biglietti aerei o ferroviari o nel contrarre mutui bancari)[8].
È appena il caso di scendere un po’ nel dettaglio, anche per sfatare il mito occidentale sulla deriva distopica del Sistema di credito sociale cinese, al netto di qualsiasi giudizio di valore.
Le liste nere vengono utilizzate per sanzionare le persone a seguito di violazioni di legge non costituenti attività criminale. Invero, i soggetti inseriti nella lista nera includono persone che possono pagare i debiti contratti, ma si rendono inadempienti (i c.d. laolai). Quindi La Corte Suprema del Popolo, l’organo di vertice del sistema giudiziario, compila una lista nera nazionale di persone inadempienti rispetto a provvedimenti giudiziari, che possono riguardare ordini di pagamento o obblighi di fare (ad es. visitare i genitori, chiedere scusa alla parte lesa). A chi viene inserito in queste liste nere viene inibito l’accesso a taluni servizi (ad es. lavori pubblici, iscrizione dei figli nelle scuole private, prenotazione di viaggi aerei o in treno con particolari comodità). Le liste rosse, al contrario, includono quelle persone considerate esempi di “affidabilità” sulla base di comportamenti ritenuti virtuosi (il puntuale pagamento di bollette e delle imposte, la prestazione di attività di volontariato, la donazione del sangue), così da concedere loro delle ricompense (priorità delle loro domande di lavoro, il pagamento di tariffe scontate per la telefonia mobile, l’ottenimento di coupon per l’e-commerce, la possibilità di usufruire di alloggi gratuiti all’estero, sconti ai passeggeri inseriti nella lista rossa, prenotazione prioritaria di taxi e noleggio di biciclette senza deposito)[9].
Un sistema, questo, che si fonda tuttavia sulla «prospettiva teorica della liminalità, che vede l’individuo liminale come “interstrutturale” – esistente “tra e tra” sistemi sociali in collisione» con la conseguenza che le sanzioni così comminate «possono innescare micro-circostanze impreviste per coloro che sono inseriti nella lista nera e per le loro famiglie», dal momento che alcuni membri della famiglia, quandunque estranei al comportamento sanzionato tenuto dall’interessato, vengono anch’essi inseriti nelle liste nere del SCS a seguito di decisioni collettive che prende in considerazione la struttura familiare, così riducendo la famiglia come unità economica i cui membri sviluppano strategie reciproche per aggirare le restrizioni digitali dell’SCS[10].
Il punteggio sociale nel Regolamento europeo sull’intelligenza artificiale
Un sistema siffatto sarebbe replicabile all’interno dell’Unione europea? Alla luce di esperienze già rodate in ambito internazionale, tali sistemi non possono passare inosservati, tanto che il Legislatore europeo ha preso una netta posizione all’interno dell’AI Act, vietando quelle pratiche di social scoring pervasive e onnicomprensive in riferimento ai dati utilizzati.
Il Considerando n. 31 del Regolamento sull’IA esprime chiaramente tale consapevolezza, delineando «i sistemi di IA che permettono ad attori pubblici o privati di attribuire un punteggio sociale alle persone fisiche», i quali «valutano o classificano le persone fisiche o i gruppi di persone fisiche sulla base di vari punti di dati riguardanti il loro comportamento sociale in molteplici contesti o di caratteristiche personali o della personalità note, inferite o previste nell’arco di determinati periodi di tempo». Secondo il Legislatore eurounitario l’uso di tali sistemi andrebbe vietato, dal momento che «possono portare a risultati discriminatori e all’esclusione di determinati gruppi», oltre a poter ledere «il diritto alla dignità e alla non discriminazione e i valori di uguaglianza e giustizia». Invero, «il punteggio sociale così ottenuto da tali sistemi di IA può determinare un trattamento pregiudizievole o sfavorevole di persone fisiche o di interi gruppi in contesti sociali che non sono collegati ai contesti in cui i dati sono stati originariamente generati o raccolti, o a un trattamento pregiudizievole che risulta ingiustificato o sproporzionato rispetto alla gravità del loro comportamento sociale». Motivo per cui «i sistemi di IA che comportano tali pratiche inaccettabili di punteggio aventi risultati pregiudizievoli o sfavorevoli dovrebbero pertanto essere vietati». Tuttavia, senza pregiudizio per «le pratiche lecite di valutazione delle persone fisiche effettuate per uno scopo specifico in conformità del diritto dell’Unione e nazionale», a riprova di una politica atta a normare e non a vietare a prescindere.
Come anche evidenziato dalle Linee Guida della Commissione proprio partendo dal considerando n. 31, il punteggio delle persone fisiche non è soggetto ad un divieto assoluto, valorizzando proprio l’inciso per cui il divieto “non dovrebbe pregiudicare pratiche lecite di valutazione delle persone fisiche che siano effettuate per uno scopo specifico conformemente al diritto dell’Unione e nazionale”, in grado di sgomberare il campo da qualsivoglia ricostruzione di aprioristico divieto di attribuzione di un punteggio sociale[11].
Ai sensi dell’art. 5, par. 1, lett. c) del Regolamento, infatti, «Sono vietate le pratiche di IA seguenti: […] c) l’immissione sul mercato, la messa in servizio o l’uso di sistemi di IA per la valutazione o la classificazione delle persone fisiche o di gruppi di persone per un determinato periodo di tempo sulla base del loro comportamento sociale o di caratteristiche personali o della personalità note, inferite o previste, in cui il punteggio sociale così ottenuto comporti il verificarsi di uno o di entrambi gli scenari seguenti:i) un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone in contesti sociali che non sono collegati ai contesti in cui i dati sono stati originariamente generati o raccolti; ii) un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone che sia ingiustificato o sproporzionato rispetto al loro comportamento sociale o alla sua gravità».
Come chiarito dalle Linee Guida della Commissione, il divieto del social scoring mira a proteggere, in particolare, il diritto alla dignità umana e altri diritti fondamentali, incluso il diritto alla non discriminazione e all’uguaglianza, alla protezione dei dati e alla vita privata e familiare, nonché i diritti sociali ed economici rilevanti, ove applicabili e mira a salvaguardare e promuovere i valori dell’Unione europea come la democrazia, l’uguaglianza (incluso l’accesso equo ai servizi pubblici e privati) e la giustizia[12].
Appare chiaro che non si tratti di un divieto omnibus, piuttosto della necessità di evitare un aumento della sorveglianza e del tracciamento degli individui (la c.d. dataveillance)[13]. Da un’attenta lettura delle disposizioni del Regolamento, così come confermato anche dalle Linee Guida della Commissione, la valutazione tendente al social scoring non è vietata in quanto tale, bensì in riferimento a talune modalità di valutazione e attribuzione del punteggio sociale, affinché non diventi uno strumento di controllo sociale in grado di conculcare la libera esplicazione della personalità e libertà individuale.
Su un piano puramente ermeneutico, è agevole trarre la seguente disciplina dall’art. 5, par. 1, lett. c) del Regolamento sull’IA:
a) il divieto riguarda i sistemi di IA utilizzati per l’assegnazione di un punteggio sociale che valutano e classificano le persone fisiche o i gruppi sociali sulla base delle seguenti informazioni:
– comportamento sociale in molteplici contesti;
– caratteristiche personali o della personalità note;
– caratteristiche personali o della personalità inferite o previste nell’arco di determinati periodi di tempo.
b) i pericoli derivanti da un sistema di valutazione sociale tale congegnato sono così individuati:
– discriminazione ed esclusione di gruppi sociali;
– lesione del diritto alla dignità e alla non discriminazione;
– lesione dei valori di uguaglianza e giustizia.
c) deve essere scongiurato:
– un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone in contesti sociali che non sono collegati ai contesti in cui i dati sono stati originariamente generati o raccolti;
– un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone che sia ingiustificato o sproporzionato rispetto al loro comportamento sociale o alla sua gravità.
d) di talché, argomentando a contrario, non devono ritenersi vietate quelle attività dei sistemi di IA:
– in grado di assicurare la tutela delle persone fisiche coinvolte
– che realizzano una valutazione che tenga conto del comportamento sociale nell’ambito di quel particolare contesto sociale cui si riferirebbero le conseguenze della valutazione stessa, neutra rispetto alle caratteristiche personali o della personalità note e delle caratteristiche personali o della personalità inferite o previste nell’arco di determinati periodi di tempo;
– rispettosa dei principi di inclusività, dignità, uguaglianza e giustizia.
Di tal guisa, poi, le Linee Guida della Commissione europea, che al paragrafo 4 offrono la corretta declinazione del divieto prescritto dall’art. 5, par. 2, lett. c) del Regolamento sull’IA.
Per dirla con le Linee Guida, affinché si applichi il divieto dell’art. 5, par. 1, lett. c) del Regolamento, devono essere soddisfatte cumulativamente tutte le tre condizioni ivi indicate[14], quindi:
1) la pratica deve costituire l’“immissione sul mercato”, la “messa in servizio” o “l’uso” di un sistema di IA.
2) il sistema di IA deve essere destinato o utilizzato per la valutazione o classificazione di persone fisiche o gruppi di persone, per un determinato periodo di tempo[15], sulla base anche alternativamente:
• del loro comportamento sociale; oppure
• delle caratteristiche personali o di personalità note, dedotte o previste.
3) il punteggio sociale generato con l’ausilio del sistema di IA deve condurre o essere in grado di condurre[16] a un trattamento dannoso o sfavorevole[17] in uno o più dei seguenti scenari:
• in contesti sociali non correlati a quelli in cui i dati sono stati originariamente generati o raccolti; e/o
• trattamento ingiustificato o sproporzionato rispetto alla gravità del comportamento sociale.
Secondo la Commissione, infatti, il divieto non intende pregiudicare pratiche legittime[18], dovendosi ritenere tali quandunque trattino dati pertinenti per lo scopo della valutazione, la valutazione sia necessaria e giustificata dall’interesse legittimo perseguito, le conseguenze siano giustificate e proporzionate al comportamento valutato e non discriminatorie, in ogni caso nel rispetto della legislazione nazionale e dell’Unione[19]. Nel rispetto di tali principi, secondo le Linee Guida della Commissione le pratiche di IA finalizzate all’attribuzione di un punteggio sociale si pongono al di fuori dell’ambito dell’art. 5, par. 1, lett. c) del Regolamento.
In tal senso, proprio le Linee Guida offrono degli esempi concreti di pratiche di IA che non si pongono in contraddizione con l’art. 5, par. 1, lett. c) del Regolamento[20], come i sistemi di scoring del credito finanziario per prevenire le frodi, la raccolta di informazioni tramite dispositivi telematici che rilevino il rispetto delle regole di guida da parte dei conducenti, la profilazione per l’offerta di pubblicità mirata o per motivi di sicurezza delle piattaforme online, la conformità comportamentale nei campi profughi, il punteggio assegnato dalle piattaforme di shopping online.
Il social scoring, inoltre, deve anche essere distinto dalle valutazioni individuali da parte degli utenti che riguardano la qualità di un servizio, trattandosi di semplice aggregazione di punteggi individuali che non comportano necessariamente l’uso dell’IA[21].
Il divieto di cui all’art. 5, par.1, lett. c) del Regolamento sull’IA, poi, si applica esclusivamente al punteggio delle persone fisiche o di gruppi di persone fisiche, non anche alle persone giuridiche, laddove la valutazione non si basi su caratteristiche personali o di personalità o sul comportamento sociale di individui[22].
Il ruolo del gdpr nella regolazione delle decisioni automatizzate
Non passi inosservato che il punteggio sociale importa da un trattamento di dati personali che vengono raccolti e analizzati per addivenire ad una valutazione o una classificazione, di fatto addivenendo ad una “profilazione”. Il punteggio sociale vietato dall’art. 5, par. 1, lett. c) del Regolamento sull’IA, infatti, involge una valutazione e una classificazione fondata sul comportamento sociale o sulle caratteristiche personali o di personalità note, dedotte o previste delle persone cui andrebbe assegnato il punteggio.
Le linee Guida della Commissione hanno fornito una descrizione di tali concetti[23]:
– nel “comportamento sociale” devono includersi generalmente azioni, comportamenti, abitudini, interazioni all’interno della società; quindi, dati relativi al comportamento provenienti da più fonti: contesti sociali e privati, contesti aziendali, utilizzo di determinati servizi, relazioni con enti pubblici e privati e con le forze di la polizia, osservanza della legge;
– le “caratteristiche personali” includono una varietà di informazioni relative a una persona (sesso, orientamento sessuale o caratteristiche sessuali, genere, identità di genere, razza, etnia, situazione familiare, indirizzo, reddito, membri del nucleo familiare, professione, stato occupazionale o altro status giuridico, rendimento lavorativo, situazione economica, liquidità finanziaria, salute, preferenze personali, interessi, affidabilità, comportamento, posizione o spostamenti, livello di indebitamento, tipo di automobile);
– le “caratteristiche della personalità” possono anche implicare la creazione di profili specifici degli individui in quanto personalità, che si basano su una serie di fattori e implicano un giudizio, trattandosi pertanto di tratti e caratteristiche della personalità;
– le “caratteristiche note” sono informazioni verificabili fornite al sistema di IA come input. Le “caratteristiche dedotte” sono informazioni inferite da altre informazioni, con l’inferenza generalmente effettuata da un sistema di IA.
– i “dati dedotti” (o derivati) sono informazioni inferite da altre informazioni;
– le “caratteristiche previste” sono informazioni stimate sulla base di schemi, con un’accuratezza inferiore al 100%.
A ben vedere si tratta di dati personali ai sensi dell’art. 4, n. 1 Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio del 27 aprile 2016 (GDPR), ossia “qualsiasi informazione riguardante una persona fisica identificata o identificabile («interessato»); si considera identificabile la persona fisica che può essere identificata, direttamente o indirettamente, con particolare riferimento a un identificativo come il nome, un numero di identificazione, dati relativi all’ubicazione, un identificativo online o a uno o più elementi caratteristici della sua identità fisica, fisiologica, genetica, psichica, economica, culturale o sociale”.
Non a caso per le Linee Guida della Commissione i dati di cui dall’art. 5, par. 1, lett. c) del Regolamento sull’IA sono utilizzati anche nel contesto della profilazione nella normativa dell’Unione sulla protezione dei dati, disciplina che può per questo ben costituire una fonte utile all’interpretazione del divieto[24].
Ed in effetti, il GDPR aveva già espressamente posto sotto la propria egida la disciplina della profilazione quale trattamento dei dati personali[25]. Ed è proprio il GDPR ad offrirne una definizione all’art. 4, par. 1, n. 4), da intendersi come “qualsiasi forma di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica”.
Il GDPR, invero, era ben consapevole delle ricadute della profilazione in termini di monitoraggio del comportamento degli interessati, volto all’adozione di decisioni che li riguardano o per analizzarne o prevederne le preferenze, i comportamenti e le posizioni personali[26]. Tant’è che all’art. 13, par. 2, lett. f) e all’art. 14, par. 2, lett. g) GDPR pone in capo al titolare del trattamento l’obbligo – tra gli altri, previsti per assicurare la correttezza e la trasparenza del trattamento – di fornire all’interessato le informazioni su “l’esistenza di un processo decisionale automatizzato, compresa la profilazione di cui all’articolo 22, paragrafi 1 e 4, e, almeno in tali casi, informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato”, informazioni rispetto alle quale in ogni caso l’interessato vanta il diritto di accesso e di opposizione ai sensi rispettivamente dell’art. 15 e 21 GDPR.
Nella consapevolezza dei rischi insiti in una valutazione automatizzata, il Legislatore eurounitario nel Considerando n. 71 GDPR manifesta la premura a che venga garantito un trattamento corretto e trasparente nel rispetto dell’interessato, che tenga in considerazione le circostanze e il contesto specifici in cui i dati personali sono trattati, ritenendo all’uopo opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, mettendo in atto misure tecniche e organizzative adeguate al fine di garantire che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori. Ciò al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e impedisca effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero un trattamento che comporti misure aventi tali effetti.
Di particolare interesse, in tal senso, la disciplina del processo decisionale automatizzato relativa alle persone fisiche, entro cui va ricompresa la profilazione, ai sensi dell’art. 22 GDPR. In particolare, “l’interessato ha il diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona”.
Nonostante il RPDP permetta una siffatta decisione automatizzata nei casi in cui sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento (par. 2, lett. a)), ovvero nei casi in cui si basi sul consenso esplicito dell’interessato (par. 2, lett. c)), al titolare del trattamento viene comunque imposto l’obbligo di attuare misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, e in ogni caso almeno il diritto di ottenere l’intervento umano da parte del titolare del trattamento, di esprimere la propria opinione e di contestare la decisione.
Inoltre, in tutti i casi eccettuati dal divieto le decisioni automatizzate non possono basarsi sulle categorie particolari di dati personali di cui all’art. 9, par.1, GDPR, ossia quei dati personali che rivelino l’origine razziale o etnica, le opinioni politiche, le convinzioni religiose o filosofiche, o l’appartenenza sindacale e i dati genetici, i dati biometrici intesi a identificare in modo univoco una persona fisica, i dati relativi alla salute o alla vita sessuale o all’orientamento sessuale della persona, fuori dai casi di consenso esplicito dell’interessato per finalità specifiche o per motivi di interesse pubblico rilevante e proporzionato alla finalità perseguita[27].
Anche in assenza di una disciplina ad hoc del punteggio sociale sì come quella offerta dal Regolamento sull’IA, la pratica del social scorig avrebbe trovato le medesime limitazioni enucleando i principi desumibili dal GDPR in tema di profilazione, del tutto sovrapponibili – quanto meno in termini di effetto finale – alla disciplina in materia di punteggio sociale assegnato con sistemi e pratiche di IA.
Bibliografia
Nasi F., Il sistema di credito sociale cinese, in Pandora Rivista, 28 dicembre 2021 (https://www.pandorarivista.it/articoli/il-sistema-di-credito-sociale-cinese/)
Guerra L., Il Sistema di credito sociale cinese tra mistificazione e realtà, in Treccani Magazine, 31 maggio 2024 (https://www.treccani.it/magazine/atlante/geopolitica/il-sistema-di-credito-sociale-cinese-tra-mistificazioni-e-realta.html).
Reilly J., M. Lyu, M. Robertson, China’s Social Credit System: Speculation vs. Reality, in The Diplomant, marzo 2021 (https://thediplomat.com/2021/03/chinas-social-credit-system-speculation-vs-reality/).
Perlasca G., Cos’è il punteggio FICO che terrorizza gli americani?, in Scenari Economici, 29/04/2023 (https://scenarieconomici.it/cose-il-punteggio-fico-che-terrorizza-gli-americani/).
Silvano C., La nozione di “decisione completamente automatizzata” sotto la lente della Corte di Giustizia: il caso Schufa, in CERIDAP, 30/10/2024 (https://ceridap.eu/la-nozione-di-decisione-completamente-automatizzata-sotto-la-lente-della-corte-di-giustizia-il-caso-schufa/).
Planning Outline for the Construction of a Social Credit System (2014-2020), in China Copyright and Media (https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/).
Daum J., Far From a Panopticon, Social Credit Focuses on Legal Violations, in The Jamestown Foundation. Global Research and Analysis, 8 ottobre 2021 (https://jamestown.org/program/far-from-a-panopticon-social-credit-focuses-on-legal-violations/).
Hou R., Fu D., Sorting citizens: Governing via China’s social credit system, in Governance. An International journal of Policy, Administration and Institutions, 28 novembre 2022.
Lisa G., Il Sistema di credito sociale cinese tra mistificazione e realtà, cit..
Ahmed S., The Messy Truth About Social Credit, in Logic(s), n.7, 01 maggio 2019 (https://logicmag.io/china/the-messy-truth-about-social-credit/).
Zhao H., T. Li, China’s social credit system and the family: Punishment and collective resistance, in Economy and Society, 28 novembre 2024.
[1] F. Nasi, Il sistema di credito sociale cinese, in Pandora Rivista, 28 dicembre 2021 (https://www.pandorarivista.it/articoli/il-sistema-di-credito-sociale-cinese/)
[2] L. Guerra, Il Sistema di credito sociale cinese tra mistificazione e realtà, in Treccani Magazine, 31 maggio 2024; J. Reilly , M. Lyu, M. Robertson, China’s Social Credit System: Speculation vs. Reality, in The Diplomant, marzo 2021 (https://thediplomat.com/2021/03/chinas-social-credit-system-speculation-vs-reality/)
[3] «I punteggi FICO sono un sistema a punti utilizzato dagli istituti di credito per valutare l’affidabilità creditizia dei mutuatari. Il punteggio FICO è un valore numerico compreso tra 300 e 850 che viene calcolato in base alla storia creditizia del mutuatario e ad altre informazioni finanziarie. Il punteggio FICO viene calcolato analizzando vari fattori come la storia dei pagamenti, l’utilizzo del credito, la durata della storia creditizia, i tipi di credito e le richieste di credito recenti. Il punteggio viene poi utilizzato dagli istituti di credito per determinare il rischio di prestare denaro al mutuatario. Un punteggio FICO più alto indica un minor rischio di insolvenza, il che significa che il mutuatario ha maggiori probabilità di rimborsare i prestiti in tempo. Questo può portare a condizioni di prestito migliori, tassi di interesse più bassi e limiti di credito più elevati. Al contrario, un punteggio FICO più basso indica un rischio di insolvenza più elevato, che può tradursi in tassi di interesse più alti, condizioni di prestito più rigide e limiti di credito più bassi. I punteggi FICO furono creati da Fair Isaac Corporation, una società di analisi dei dati specializzata in analisi predittiva e credit scoring. Il processo di creazione di un punteggio FICO prevede l’analisi del rapporto di credito del mutuatario, che è una registrazione della sua storia creditizia. Il punteggio FICO viene calcolato con un complesso algoritmo che tiene conto di vari fattori e assegna una ponderazione a ciascuno di essi in base alla sua importanza nella previsione del rischio di credito. Ad esempio, la cronologia dei pagamenti è in genere il fattore più importante, in quanto è un forte indicatore della probabilità del mutuatario di rimborsare i propri debiti in tempo». G. Perlasca, Cos’è il punteggio FICO che terrorizza gli americani?, in Scenari Economici, 29/04/2023 (https://scenarieconomici.it/cose-il-punteggio-fico-che-terrorizza-gli-americani/).
[4] «Si tratta di una società privata di diritto tedesco che fornisce ai propri partner contrattuali informazioni sul merito creditizio di terzi, in particolare di consumatori. A tal fine, essa effettua un pronostico sulla probabilità di un comportamento futuro di una persona (“score”), come il rimborso di un prestito, a partire da talune caratteristiche di tale persona e sulla base di procedure matematiche e statistiche. Il calcolo del punteggio (“scoring”) si basa sul presupposto che assegnando una persona a un gruppo con caratteristiche comparabili, si possa prevedere un determinato comportamento. I programmi di scoring creditizio costituiscono una sottocategoria di software predittivi focalizzati sulla misura del social scoring. Nello specifico, il credit scoring quantifica la probabile solvibilità futura di una persona, basandosi sulla combinazione dei pagamenti effettuati in passato dalla stessa persona e sulla sua classificazione all’interno di una categoria di soggetti simili». Clara Silvano, La nozione di “decisione completamente automatizzata” sotto la lente della Corte di Giustizia: il caso Schufa, in CERIDAP, 30/10/2024 (https://ceridap.eu/la-nozione-di-decisione-completamente-automatizzata-sotto-la-lente-della-corte-di-giustizia-il-caso-schufa/).
[5] F. Nasi, Il sistema di credito sociale cinese, cit.
[6] Planning Outline for the Construction of a Social Credit System (2014-2020), in China Copyright and Media (https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/).
[7] J. Daum, Far From a Panopticon, Social Credit Focuses on Legal Violations, in The Jamestown Foundation. Global Research and Analysis, 8 ottobre 2021 (https://jamestown.org/program/far-from-a-panopticon-social-credit-focuses-on-legal-violations/).
[8] R. Hou, D. Fu, Sorting citizens: Governing via China’s social credit system, in Governance. An International journal of Policy, Administration and Institutions, 28 novembre 2022; G. Lisa, Il Sistema di credito sociale cinese tra mistificazione e realtà, cit..
[9] S. Ahmed, The Messy Truth About Social Credit, in Logic(s), n.7, 01 maggio 2019 (https://logicmag.io/china/the-messy-truth-about-social-credit/)
[10] H. Zhao, T. Li, China’s social credit system and the family: Punishment and collective resistance, in Economy and Society, 28 novembre 2024
[11] Par 175 delle Linee Guida.
[12] Par. 148 delle Linee Guida della Commissione europea del 4 febbraio 2025.
[13] Par. 157 delle Linee Guida
[14] Par. 149 delle Linee Guida della Commissione europea del 4 febbraio 2025.
[15] Il divieto richiede che la valutazione o classificazione sia basata su dati raccolti nell’arco di “un determinato periodo di tempo”, lasciando escluso dal divieto la valutazione limitata a una singola occasione o a un’unica assegnazione di punteggio effettuata utilizzando dati o comportamenti provenienti da un contesto individuale molto specifico. Par. 155 delle Linee.
[16] In altre parole, il trattamento deve essere la conseguenza del punteggio, e il punteggio la causa del trattamento. Un tale nesso causale plausibile può esistere anche nei casi in cui le conseguenze dannose non si siano ancora materializzate, ma il sistema di IA sia destinato o in grado di produrre tale risultato negativo. Par. 160 delle Linee Guida.
[17] “Trattamento sfavorevole” significa che, a seguito del punteggio, la persona o il gruppo di persone deve essere trattato in modo meno favorevole rispetto ad altri, senza che sia necessariamente richiesto un danno o pregiudizio specifico (ad esempio, nel caso di pratiche di scoring in cui le persone vengono selezionate per ispezioni aggiuntive in caso di sospetto di frode). Al contrario, il “trattamento dannoso” richiede che la persona o il gruppo di persone subisca un effettivo danno o pregiudizio. Il trattamento sfavorevole o dannoso può anche essere discriminatorio e vietato dalla normativa UE sulla non discriminazione o implicare l’esclusione di determinati individui o gruppi, ma ciò non costituisce una condizione necessaria affinché si applichi il divieto. L’articolo 5, paragrafo 1, lettera c) dell’AI Act può quindi coprire trattamenti iniqui che vanno oltre la normativa UE sulla non discriminazione, che si applica solo a determinati gruppi protetti (ad esempio, età, origine etnica e razziale, sesso, religione). Par. 165 delle Linee Guida.
[18] Punto 147 delle Linee Guida.
[19] Par. 176 e 177 delle Linee Guida.
[20] Par. 177 delle Linee Guida.
[21] Par. 174 delle Linee Guida. Ciò purché i dati non vengano combinati con altre informazioni e analizzati da un sistema di IA per valutare o classificare individui sì da integrare tutte le condizioni previste dall’articolo 5, paragrafo 1, lettera c), del Regolamento
[22] Par. 173 delle Linee Guida. Invero, se le persone giuridiche sono state valutate sulla base di un punteggio complessivo che aggrega la valutazione o classificazione di un gruppo di persone fisiche fondata sul loro comportamento sociale o su caratteristiche personali o di personalità, e tale punteggio ha un impatto diretto su queste persone, la pratica può rientrare nell’ambito di applicazione dell’articolo 5, paragrafo 1, lettera c), dell’AI Act, soddisfatte tutte le altre condizioni.
[23] Par. 157, 158, 159 delle Linee Guida.
[24] Par. 159 delle Linee Guida.
[25] Considerando n. 72 RGPD.
[26] Considerando n. 24 RGPD.
[27] Come meglio esplicitato nel considerando n. 71, “Tuttavia, è opportuno che sia consentito adottare decisioni sulla base di tale trattamento, compresa la profilazione, se ciò è espressamente previsto dal diritto dell’Unione o degli Stati membri cui è soggetto il titolare del trattamento, anche a fini di monitoraggio e prevenzione delle frodi e dell’evasione fiscale secondo i regolamenti, le norme e le raccomandazioni delle istituzioni dell’Unione o degli organismi nazionali di vigilanza e a garanzia della sicurezza e dell’affidabilità di un servizio fornito dal titolare del trattamento, o se è necessario per la conclusione”.
