Cosa accade quando a selezionare un candidato, assegnare un turno ad un lavoratore o valutarne la prestazione non è una persona, ma un algoritmo?
Indice degli argomenti
Discriminazione sul lavoro: le tutele europee e italiane
L’articolo 21 della Carta dei diritti fondamentali dell’Unione europea vieta ogni forma di discriminazione fondata, tra l’altro, sul sesso, sull’origine etnica e sull’età. L’articolo 23 riconosce inoltre la parità tra donne e uomini in tutti i campi, compresi l’occupazione, il lavoro e la retribuzione.
Nell’ordinamento italiano, tali principi trovano attuazione attraverso diverse disposizioni in materia di parità di trattamento e divieto di discriminazione. Tra queste rientrano il decreto legislativo n. 215 del 2003, relativo alle discriminazioni fondate sulla razza e sull’origine etnica, e il decreto legislativo n. 216 del 2003, riguardante quelle fondate sulla religione o sulle convinzioni personali, sulla disabilità, sull’età e sull’orientamento sessuale. Il decreto legislativo n. 198 del 2006, ossia il Codice delle pari opportunità, disciplina invece le discriminazioni fondate sul sesso.
Assumono inoltre rilievo gli articoli 8 e 15 della legge 300/1970 (“Statuto dei lavoratori”): il primo vieta al datore di lavoro di svolgere indagini sulle opinioni dei lavoratori e sui fatti non rilevanti ai fini della valutazione della loro attitudine professionale, anche in fase di assunzione; il secondo prevede la nullità degli atti discriminatori nelle ipotesi previste dalla disposizione, comprese quelle legate all’affiliazione e all’attività sindacale.
Si tratta di garanzie che oggi devono trovare applicazione anche in un contesto nel quale le decisioni datoriali sono sempre più spesso supportate, o direttamente assunte, da sistemi automatizzati.
Le aziende, infatti, utilizzano in modo crescente soluzioni automatizzate nel contesto della ricerca, selezione e gestione del personale. Secondo una survey dell’OCSE, nei quattro Paesi europei esaminati (Francia, Germania, Italia, Spagna), il 79% degli intervistati ha dichiarato che la propria impresa utilizza almeno uno strumento di “management algoritmico”, inteso come software volto ad automatizzare, interamente o in parte, funzioni tradizionalmente svolte dai manager.
Il problema nasce quando il sistema utilizzato per valutare le persone riproduce pregiudizi già presenti nei dati o applica criteri che, pur apparentemente imparziali, hanno l’effetto di svantaggiare sistematicamente determinati lavoratori.
Bias algoritmico nel lavoro: definizione e rischi di discriminazione
Il bias algoritmico può essere definito come una sistematica distorsione nel funzionamento o nei risultati prodotti da un algoritmo. Tale distorsione può derivare dal caricamento di dati incompleti o non rappresentativi, da pregiudizi già presenti nei dati utilizzati per addestrare il sistema, oppure dalle scelte compiute nella sua progettazione e nel suo utilizzo concreto: non ogni bias produce una discriminazione vietata e, dall’altro lato, anche una regola applicata correttamente e in modo uniforme può risultare discriminatoria quando non tiene conto delle differenti condizioni in cui si trovano le persone coinvolte.
Queste cause non sono inoltre necessariamente alternative. Un sistema può, ad esempio, essere sviluppato su dati storicamente sbilanciati ed essere, al tempo stesso, configurato secondo parametri che amplificano quello stesso sbilanciamento.
Il bias non coincide quindi automaticamente con la discriminazione. Il primo descrive una distorsione del sistema; la seconda costituisce una conseguenza giuridicamente rilevante, che può verificarsi quando quella distorsione determina uno svantaggio ingiustificato nei confronti di una persona o di un gruppo – talvolta anche in relazione a un fattore protetto.
Il caso Amazon: quando i dati riproducono le disuguaglianze del passato
Un esempio emblematico è rappresentato dal sistema sperimentale sviluppato da Amazon per analizzare i curricula e individuare i candidati più adatti a ricoprire ruoli tecnici.
Tale sistema era stato addestrato utilizzando i dati relativi a candidature ricevute nei dieci anni precedenti, un periodo durante il quale le posizioni tecniche erano state ricoperte prevalentemente da uomini. Di conseguenza, l’algoritmo aveva finito per attribuire maggiore rilevanza alle caratteristiche ricorrenti nei curricula maschili, penalizzando quelli con riferimenti al genere femminile e arrivando, in alcuni casi, a declassare taluni profili per la mera menzione del termine “women’s”, come nell’espressione “women’s chess club captain”.
La società dopo aver rilevato che il sistema non garantiva risultati adeguati, in quanto viziati per bias di genere, abbandonò il progetto.
Il caso mostra come un algoritmo possa apprendere da uno squilibrio storico e riprodurlo nelle selezioni future. Il sistema non crea necessariamente un pregiudizio nuovo, ma può trasformare una disparità già esistente in un criterio di valutazione automatizzato, rendendola più difficile da individuare e contestare.
Il caso Workday e la responsabilità del fornitore
Una questione differente emerge nella controversia statunitense Mobley v. Workday Inc., ancora pendente.
Derek Mobley, uomo afroamericano ultracinquantenne e con disabilità, sostiene di essere stato respinto, nonostante le proprie qualifiche, in oltre ottanta procedure di selezione gestite attraverso soluzioni a supporto dei processi di candidatura forniti da Workday. Secondo il ricorrente, i sistemi utilizzati per esaminare e classificare le candidature avrebbero determinato una discriminazione fondata sulla razza, sull’età e sulla disabilità.
Tali accuse non sono state accertate, ma la controversia è particolarmente rilevante perché non interessa direttamente i singoli datori di lavoro ai quali Mobley aveva presentato la propria candidatura, ma la società che forniva loro la soluzione di selezione.
Il caso verte sulla responsabilità del fornitore quando il software svolge funzioni connesse al processo di selezione. Se l’algoritmo viene sviluppato da un soggetto terzo e successivamente impiegato da numerose aziende, la catena delle responsabilità si ramifica e diventa più complesso individuare le rispettive responsabilità in presenza di risultati potenzialmente discriminatori. Il candidato potrebbe così subire le conseguenze di decisioni influenzate da un sistema sul cui funzionamento il datore di lavoro dichiara di non esercitare un controllo completo.
Discriminazione algoritmica e rider: i casi Deliveroo e Foodinho
Il rischio di discriminazione algoritmica non riguarda soltanto la selezione del personale, ma può manifestarsi anche durante lo svolgimento del rapporto di lavoro, incidendo sull’attribuzione dei punteggi, sull’accesso ai turni e sull’assegnazione delle attività. In Italia, tale rischio è emerso con particolare chiarezza nei casi Deliveroo e Foodinho.
Nel caso Deliveroo, il sistema utilizzato per la prenotazione delle sessioni di lavoro attribuiva a ciascun ciclofattorino un punteggio calcolato sulla base di due parametri: l’affidabilità e la partecipazione nelle fasce orarie di maggiore richiesta. Il primo teneva conto delle occasioni in cui il rider, dopo aver indicato la propria disponibilità in una determinata fascia oraria, non effettuava l’accesso all’applicazione entro quindici minuti dall’inizio del turno, nella zona di consegna assegnata; il secondo considerava invece la sua disponibilità nelle fasce orarie di maggior richiesta, comprese tra le ore 20:00 e le ore 22:00 dei giorni dal venerdì alla domenica.
Anche la cancellazione di una sessione con un preavviso inferiore alle ventiquattro ore poteva incidere sulle statistiche elaborate dal sistema.
Sulla base del punteggio ottenuto, i rider venivano collocati in tre differenti fasce di accesso al calendario settimanale. Chi aveva le statistiche migliori poteva prenotare per primo e scegliere tra un maggior numero di turni disponibili, mentre chi aveva un punteggio più basso accedeva successivamente, quando parte degli slot era già stata assegnata. La posizione acquisita con le precedenti consegne incideva sulla possibilità di accedere per primi ai turni disponibili e, di conseguenza, di ottenere maggiori occasioni di lavoro.
Con l’ordinanza del 31 dicembre 2020, il Tribunale di Bologna ha ritenuto discriminatorio tale meccanismo, perché penalizzava la mancata partecipazione a una sessione senza alcuna distinzione con riguardo alle ragioni dell’assenza, quali malattia o esercizio del diritto di sciopero. Il sistema applicava quindi una regola apparentemente neutra, “chi non partecipa perde priorità”, che, proprio perché ignorava le differenti situazioni dei lavoratori, poteva tradursi in una discriminazione indiretta.
La gestione dei rider da parte di Deliveroo è stata esaminata anche dal Garante per la protezione dei dati personali, le cui valutazioni possono essere lette nel provvedimento del 22 luglio 2021. L’Autorità ha preso in analisi sia il sistema relativo all’accesso alle sessioni di lavoro, sia “Frank”, l’algoritmo utilizzato per assegnare gli ordini durante i turni, rilevando che non erano state adottate misure adeguate a verificare periodicamente la correttezza e l’accuratezza dei risultati prodotti, nonché l’esattezza e la pertinenza dei dati utilizzati.
Analoghe non conformità sono emerse nel caso Foodinho. La società utilizzava un cosiddetto “sistema di eccellenza”, che attribuiva ai rider un punteggio sulla base degli ordini accettati e consegnati, della disponibilità nelle fasce di maggiore domanda e delle valutazioni espresse da clienti ed esercenti. Il punteggio ottenuto determinava la priorità nella scelta delle fasce orarie: i rider con una valutazione più elevata potevano scegliere per primi, mentre per gli altri diminuivano progressivamente gli slot disponibili o rimanevano accessibili solo orari meno appetibili.
Il sistema contribuiva così alla produzione di un effetto discriminatorio a carattere cumulativo. Un punteggio inizialmente più basso comportava minori possibilità di accedere ai turni migliori; la conseguente riduzione delle occasioni di lavoro rendeva poi più difficile migliorare la propria posizione, consolidando nel tempo lo svantaggio iniziale.
Il Garante ha inoltre rilevato che non erano stati forniti, agli interessati, chiarimenti sufficienti sul funzionamento di “Jarvis”, l’algoritmo utilizzato per l’assegnazione degli ordini, né sulla sua interazione con il sistema di punteggio. Una particolare attenzione è stata riservata anche ai feedback di clienti ed esercenti, che potevano essere influenzati da circostanze non direttamente imputabili al rider, come il traffico, le condizioni meteorologiche o i tempi di preparazione dell’ordine, ma anche da valutazioni soggettive o pregiudizi individuali.
Una volta acquisiti dal sistema, tali elementi potevano tradursi automaticamente in un punteggio inferiore per il rider, senza sua colpa.
I casi Deliveroo e Foodinho mostrano così due aspetti dello stesso fenomeno: il primo evidenzia come una regola apparentemente neutra possa produrre una discriminazione indiretta; il secondo mostra come lo svantaggio determinato dal punteggio possa amplificarsi e consolidarsi nel tempo. In entrambi i casi, l’algoritmo non si limitava a organizzare il lavoro, ma ingenerava un impatto diretto sul rider, con conseguenze anche gravi per la vita lavorativa dello stesso.
La discriminazione algoritmica si colloca così all’incrocio tra diritto del lavoro e protezione dei dati personali. Il giudice del lavoro valuta gli effetti discriminatori del criterio applicato, mentre il Garante verifica la correttezza del trattamento dei dati e l’esistenza di misure adeguate a prevenire risultati inesatti, distorti o discriminatori. Le prospettive sono differenti, ma il principio che emerge è comune: l’apparente neutralità o ragionevolezza dell’algoritmo non è sufficiente a garantire l’equità dei suoi risultati.
Bias algoritmico nel lavoro: le tutele del GDPR
La tutela contro le discriminazioni algoritmiche non dipende da un’unica disciplina. Accanto alle norme in materia di parità di trattamento e divieto di discriminazione, un ruolo essenziale è svolto dal Regolamento (UE) 2016/679 (“GDPR”), che stabilisce principi e regole applicabili al trattamento dei dati personali anche quando una decisione viene assunta mediante processi automatizzati. In particolare, l’articolo 5 del GDPR impone il rispetto dei principi di correttezza, trasparenza, minimizzazione ed esattezza.
Tali principi assumono un rilievo centrale nel contesto algoritmico: un sistema alimentato da dati inesatti, incompleti, non rappresentativi o non pertinenti può infatti produrre risultati distorti e incidere in modo ingiustificato sulle opportunità professionali dei lavoratori. L’articolo 22 disciplina, inoltre, le decisioni basate unicamente su trattamenti automatizzati, compresa la profilazione, quando producono effetti giuridici o incidono in modo analogamente significativo sulla persona.
Nei casi in cui tali decisioni siano consentite, devono essere previste misure adeguate a tutela dell’interessato, tra cui il diritto di ottenere l’intervento umano, esprimere la propria opinione e contestare la decisione. È da sottolineare che l’intervento umano deve essere effettivo, in quanto non è sufficiente che una persona confermi automaticamente il risultato prodotto dal sistema. Chi interviene deve poter comprendere gli elementi sui quali si fonda la decisione, valutarli criticamente e modificarne l’esito.
Dai provvedimenti adottati dal Garante nei confronti di Deliveroo e Foodinho si evince che l’Autorità non si è limitata a considerare i criteri dichiarati dalle piattaforme, ma ha richiesto misure adeguate a verificare periodicamente l’esattezza dei dati, la correttezza dei risultati prodotti dagli algoritmi e l’eventuale presenza di effetti distorti o discriminatori.
L’AI Act e la prevenzione delle discriminazioni algoritmiche
A questo quadro si aggiunge il Regolamento (UE) 2024/1689 (“AI Act”), che introduce specifici obblighi diretti a prevenire e gestire i rischi connessi all’utilizzo di sistemi di AI.
L’AI Act qualifica come ad alto rischio, alle condizioni previste dall’articolo 6 e dall’Allegato III, i sistemi di intelligenza artificiale utilizzati per la selezione del personale, per l’adozione di decisioni relative al rapporto di lavoro, per l’assegnazione dei compiti e per il monitoraggio o la valutazione delle prestazioni.
Per tali sistemi è richiesta l’adozione di requisiti e adempimenti relativi alla governance e alla qualità dei dati utilizzati per l’addestramento, la validazione e la prova, tra cui l’esame dei possibili bias che potrebbero incidere sui diritti fondamentali o determinare discriminazioni, nonché le misure necessarie per individuarli, prevenirli e attenuarli. La qualità e la rappresentatività dei dati assumono un’importanza centrale nella prevenzione delle distorsioni, all’interno di un quadro più ampio di obblighi riguardanti la gestione dei rischi, la documentazione, la trasparenza, la supervisione umana, l’accuratezza e il monitoraggio dei sistemi.
La rilevazione dei bias pone tuttavia una questione delicata. Per verificare se un sistema svantaggi determinate categorie di persone può essere necessario analizzarne i risultati anche attraverso dati appartenenti alle categorie particolari disciplinate dall’articolo 9 del GDPR.
A seguito delle modifiche introdotte dal Regolamento (UE) 2026/1744 (“Omnibus digitale sull’AI”), il nuovo articolo 4-bis dell’AI Act disciplina il trattamento eccezionale di tali dati per finalità di individuazione e correzione dei bias. Il trattamento è consentito soltanto nei limiti della stretta necessità e nel rispetto delle condizioni e delle garanzie previste dalla disposizione.
L’AI Act rafforza così un approccio preventivo alla gestione del rischio algoritmico, volto a individuare e ridurre le possibili distorsioni prima che queste possano tradursi in conseguenze discriminatorie.
Verificare i risultati: le responsabilità nella gestione automatizzata del lavoro
La discriminazione algoritmica può manifestarsi in momenti diversi del rapporto di lavoro: nella ricerca e selezione di candidati, nell’attribuzione di punteggi a dipendenti e collaboratori, nella distribuzione dei turni e degli ordini, nella valutazione delle prestazioni e nelle decisioni relative alla cessazione del rapporto di lavoro.
La distorsione può derivare dai dati utilizzati per sviluppare il sistema, come nel caso Amazon, qualitativamente inadeguati e non coerenti con il contesto d’uso, ma anche da criteri apparentemente neutrali che non tengono conto delle differenti situazioni dei lavoratori, come accaduto nel caso Deliveroo, in cui sono state applicate le stesse conseguenze indipendentemente dalle ragioni del comportamento del lavoratore.
Nei sistemi basati su punteggi, inoltre, uno svantaggio iniziale può consolidarsi nel tempo e ridurre progressivamente le opportunità future, come evidenziato nel caso Foodinho, utilizzando meccanismi di valutazione, alimentati da feedback soggettivi e non adeguatamente verificati.
L’utilizzo di soluzioni automatizzate o intelligenti non assicura la neutralità di una decisione né sottrae chi le utilizza alle proprie responsabilità. Al contrario, la mera conoscenza dei criteri applicati dalla soluzione non è sufficiente a escludere il rischio di discriminazione. È sempre necessario verificare se i risultati che produce sono discriminatori, quali lavoratori risultino maggiormente penalizzati e se lo svantaggio sia collegato, anche indirettamente, a un fattore specifico. La tutela deve quindi operare assicurando la conformità alle diverse normative applicabili, tra cui lo Statuto dei Lavoratori, il GDPR e, se si tratta di una soluzione intelligente, l’AI Act.
Trasparenza, verifiche periodiche, supervisione umana e possibilità di contestare la decisione costituiscono pertanto condizioni essenziali per evitare che l’automazione trasformi disuguaglianze già esistenti, o criteri soltanto in apparenza neutrali, in discriminazioni sistematiche difficili da individuare e correggere.
Partecipa alla community