La “four-fifths rule” (regola dei quattro quinti) rappresenta uno strumento statistico fondamentale per identificare potenziali discriminazioni nei sistemi decisionali automatizzati, inclusi quelli basati sull’intelligenza artificiale che trattano dati personali.
Sebbene nata nel contesto delle risorse umane statunitensi, alla fine degli anni ‘70 e quindi ben prima delle politiche woke questa regola assume oggi particolare rilevanza nell’ambito della protezione dei dati personali, specialmente alla luce del GDPR, dell’AI Act e delle crescenti preoccupazioni relative all’equità algoritmica, considerando che si vanno sempre più affermando modelli per la selezione e valutazione del personale che si basano su sistemi con una componente di AI.
Indice degli argomenti
Origini e definizione
La four-fifths rule fu introdotta nel 1978 dalle Uniform Guidelines on Employee Selection Procedures della Equal Employment Opportunity Commission (EEOC) statunitense. Secondo questa regola, un processo di selezione mostra un “adverse impact” (impiego discriminatorio) quando la “selection rate” (tasso di selezione) per un gruppo protetto è inferiore ai quattro quinti (80%) del tasso del gruppo con il tasso più elevato.
In termini matematici:
• se il gruppo A viene selezionato al 50% e il gruppo B al 30%, il rapporto è 30/50 = 0,6 (60%), inferiore alla soglia dello 0,8 (80%), suggerendo una possibile discriminazione del gruppo B;
• se il gruppo A viene selezionato al 50% e il gruppo B al 41%, il rapporto è 41/50 = 0,82 (82%), superiore alla soglia dello 0,8 (80%), indicando che è improbabile una possibile discriminazione del gruppo B;
Rilevanza nel contesto del GDPR
Il GDPR introduce obblighi specifici riguardo al trattamento automatizzato dei dati personali, particolarmente rilevanti quando si utilizza la four-fifths rule:
• articolo 5 richiede che i dati siano trattati in modo lecito, corretto e trasparente, con particolare attenzione ai principi di minimizzazione e accuratezza;
• articolo 22 vieta decisioni basate unicamente su trattamenti automatizzati che producano effetti giuridici o similmente significativi, salvo eccezioni specifiche.
Infine, il considerando 71 sottolinea la necessità di prevenire effetti discriminatori basati su categorie particolari di dati personali, incluse origine razziale, opinioni politiche, religione, orientamento sessuale.
Applicazioni pratiche
La four-fifths rule trova applicazione in diversi ambiti del trattamento automatizzato dei dati personali e non solo nell’ambito dei processi di selezione e valutazione del personale, come illustrato nei seguenti esempi:
• sistemi di recruiting automatizzato si devono basare su algoritmi di screening dei CV devono essere verificati per assicurare che non discriminino candidati in base a genere, età, nazionalità o altre caratteristiche protette. Un sistema che seleziona l’80% dei candidati maschili ma solo il 55% delle candidate femmine violerebbe la regola;
• credit scoring e decisioni finanziarie devono utilizzare modelli di valutazione del credito testati per verificare che non penalizzino sistematicamente determinati gruppi demografici. Se un algoritmo approva prestiti al 70% dei richiedenti del gruppo maggioritario ma solo al 50% di un gruppo minoritario, il rapporto dello 0,71 suggerirebbe un potenziale problema;
• le piattaforme dei sistemi di profilazione pubblicitaria che utilizzano dati personali per targetizzare offerte di lavoro, abitazioni o servizi finanziari devono garantire che l’esposizione degli annunci non risulti discriminatoria secondo i parametri della four-fifths rule;
• gli algoritmi che allocano risorse sanitarie o determinano premi assicurativi devono essere monitorati per evitare disparità ingiustificate tra gruppi demografici.
Limitazioni e critiche
Nonostante la sua utilità, la four-fifths rule presenta alcune limitazioni significative:
• soglia arbitraria – il valore dell’80% non ha una giustificazione statistica rigorosa ed è considerato una convenzione pratica piuttosto che un confine scientifico tra equità e discriminazione;
• sensibilità alla dimensione del campione – con campioni piccoli, variazioni casuali possono facilmente portare a violazioni apparenti della regola senza che vi sia discriminazione sistemica;
• analisi unidimensionale – la regola esamina un gruppo protetto alla volta, senza catturare discriminazioni intersezionali che colpiscono individui appartenenti a multiple categorie (ad esempio, donne appartenenti a minoranze etniche);
• focus sui risultati, non sui processi – un sistema può superare il test della four-fifths rule pur utilizzando variabili proxy che perpetuano discriminazioni di tipo indiretto.
Variabili proxy e discriminazione indiretta
Per spiegare questa ultima limitazione è opportuno ricorrere a un esempio. Ipotizziamo un algoritmo di assunzione che non usa direttamente il genere come variabile, ma utilizza i seguenti parametri:
• anni di esperienza continuativa senza interruzioni;
• disponibilità a viaggiare frequentemente;
• partecipazione ad eventi di networking serali;
Queste variabili sono tecnicamente “neutre” ma in pratica funzionano come “proxy del genere”; infatti penalizzano statisticamente le donne che hanno avuto interruzioni di carriera per maternità, responsabilità di cura familiare, o minore accesso a network professionali informali.
L’algoritmo potrebbe superare la four-fifths rule (magari assume l’82% delle donne qualificate rispetto agli uomini), ma continua a perpetuare discriminazioni strutturali attraverso criteri apparentemente oggettivi. Il sistema è tecnicamente “equo” nei risultati aggregati, ma discriminatorio nel processo decisionale sottostante.
Questo è il motivo per cui la four-fifths rule si usa nelle fasi iniziali di un processo e va sempre integrata con analisi ed audit che scandagliano criticamente ed esaminano le variabili utilizzate e le loro correlazioni con caratteristiche protette.
Integrazione con altre metodologie
Per una valutazione completa dell’equità algoritmica nel trattamento dei dati personali, la four-fifths rule dovrebbe essere integrata con altri approcci che sono stati sviluppati negli anni per ridurre le limitazioni del sistema. Tra questi:
• statistical parity utilizzato per misurare se la probabilità di un esito positivo è uguale tra gruppi, andando oltre la semplice soglia dell’80%;
• equalized odds per verificare che i tassi di veri positivi e falsi positivi siano simili tra gruppi;
• calibration volto ad assicurare che le previsioni abbiano lo stesso significato attraverso diversi gruppi demografici;
• individual fairness per garantire che individui simili ricevano trattamenti simili, indipendentemente dall’appartenenza di gruppo.
Obblighi di accountability
Nel contesto della protezione dei dati personali, l’applicazione della four-fifths rule si inserisce negli obblighi di accountability del GDPR e nello specifico:
• Data Protection Impact Assessment (DPIA) dato che l’articolo 35 richiede valutazioni d’impatto per trattamenti ad alto rischio, queste dovrebbero includere metriche di equità computazionale nel caso si utilizzino strumenti come la four-fifths rule o approcci più evoluti;
• risorse, fornite dai titolari del trattamento, per pianificare ed effettuare audit algoritmici periodici dei sistemi automatizzati per identificare e mitigare bias discriminatori;
• documentazione quale registri delle metodologie utilizzate per testare l’equità, inclusi i risultati dei test della four-fifths rule;
• per quanto i dettagli tecnici possano essere protetti come segreti commerciali, i principi generali dell’approccio all’equità dovrebbero essere comunicabili agli interessati in modo trasparente.
Tali misure trovano anche una corrispondenza nella ISO/IEC 42001:2023 “Intelligenza artificiale – Sistema di gestione” LINK articolo di cybersicurezza ed in particolare (elenco non esaustivo) nei seguenti requisiti e controlli:
• requisito 6.1.4 Valutazione dell’impatto del sistema di AI;
• requisito 8.4 Valutazione dell’impatto del sistema di AI;
• controlli A.5 Valutazione dell’impatto dei sistemi di AI;
• controllo A.6.2.3 Verifica e validazione del sistema di AI;
• controllo A.6.2.6 Funzionamento e monitoraggio del sistema di AI;
• controllo A.8.2 Documentazione del sistema (di AI) e informazioni per gli utilizzatori;
• controllo A.9.2 Processi per un uso responsabile del sistema di AI;
• controllo A.9.3 Obiettivi per un utilizzo responsabile del sistema di AI.
Infine, va sottolineato che per applicare metriche di equità come la four-fifths rule è essenziale che i dati siano accurati, completi e rappresentativi, requisito in linea con i principi di data protection di qualità e minimizzazione, infatti dati inaccurati o sbilanciati possono far emergere falsi segnali di impatto (positivi o negativi) e compromettere sia l’equità delle decisioni sia la conformità al GDPR.
Prospettive future
L’evoluzione della regolamentazione sull’intelligenza artificiale, in particolare l’AI Act, rafforza ulteriormente l’importanza di strumenti come la four-fifths rule. I sistemi di AI ad alto rischio dovranno dimostrare conformità a standard di non discriminazione, rendendo essenziali metodologie quantitative di verifica.
Allo stesso tempo, la ricerca continua a sviluppare metriche di equità computazionali più sofisticate che superano le limitazioni della four-fifths rule, pur mantenendone la semplicità e comprensibilità che l’hanno resa uno standard de facto.
Conclusione
La four-fifths rule rappresenta uno strumento pratico e accessibile per identificare potenziali discriminazioni nei sistemi che trattano dati personali in modo automatizzato. Nel contesto della protezione dei dati, questa regola non costituisce una garanzia assoluta di equità, ma piuttosto un primo livello di screening che dovrebbe innescare approfondimenti quando viene violata.
Le organizzazioni che sviluppano o utilizzano sistemi decisionali automatizzati hanno la responsabilità di integrare la four-fifths rule in un approccio più ampio all’equità algoritmica, combinandola con altre metriche, verifiche qualitative e una governance robusta della protezione dei dati personali. Ancora una volta la complessità ci porta a sottolineare che solo attraverso un approccio multifattoriale è possibile garantire che i sistemi di AI rispettino tanto la lettera quanto lo spirito delle normative sulla protezione dei dati e la non discriminazione.
