Deliveroo, l’algoritmo che discrimina: perché è importante la sentenza del tribunale bolognese - Agenda Digitale

AI e diritti

Deliveroo, l’algoritmo che discrimina: perché è importante la sentenza del tribunale bolognese

La protezione dei dati personali deve essere considerata non un “intralcio” a certe attività, ma un abilitante a poterle svolgere. Ecco perché l’impatto della sentenza del tribunale di Bologna su Deliveroo Italia va letta anche in termini di diritti degli interessati, con il Gdpr sullo sfondo

13 Gen 2021
Gennaro Maria Amoruso

Avvocato e data protection officer in aziende sanitarie pubbliche

Massimiliano Nicotra

avvocato Senior Partner Qubit Law Firm

La sentenza nei confronti di Deliveroo Italia, emessa recentemente dal Tribunale di Bologna, in funzione di giudice del lavoro, ha avuto una forte eco mediatica per i suoi aspetti giuslavoristici, ma fornisce anche l’occasione di concentrarsi sulla natura non neutrale dell’algoritmo e i diritti degli interessati, in particolare dal punto di vista della loro profilazione, e di riflettere sulle teorie di “privacy contestuale” che già in altre parti del mondo stanno emergendo.

Per comprendere l’impatto della sentenza dal punto di vista della normativa in tema di protezione dei dati personali, proviamo allora a capovolgere le prospettive da cui ha preso le mosse il tribunale di Bologna.

La sentenza Deliveroo Italia, una diversa chiave di lettura

Nella sentenza nei confronti di Deliveroo Italia, il giudice ha dichiarato discriminatorio l’algoritmo (denominato Frank) utilizzato per accedere alle sessioni di lavoro tramite la piattaforma digitale della convenuta, condannando la società non solo a rimuoverne gli effetti ma anche al risarcimento del danno non patrimoniale declinato in un’accezione polifunzionale proiettata verso più aree, tra cui quella preventiva (deterrente o dissuasiva) e quella sanzionatorio-punitiva.

WHITEPAPER
Certificazioni GDPR: tutti i vantaggi per le organizzazioni che vi aderiscono
Legal
Privacy

Da sempre la protezione dei dati personali nasce e si sviluppa per effetto e per l’impatto dell’evoluzione tecnologica, per tale motivo una diversa chiave di lettura della sentenza risiede nel verificare se effettivamente la società abbia rispettato nel caso di specie il principio dell’accountability, che caratterizza la nuova disciplina del Regolamento (UE) n. 679/2016 (“GDPR”) e molte altre recenti disposizioni emanate a livello europeo.

In molti campi, d’altra parte, gli algoritmi promettono di garantire un maggiore guadagno in termini di potenza di calcolo e di efficienza nell’elaborazione di grandi quantità di dati, ma anche di neutralità rispetto alle decisioni umane caratterizzate, per loro natura, da margini più elevati di fallibilità e di opinabilità.

Per tali motivi le decisioni prese dall’algoritmo vengono considerate come “neutre” in quanto fondate unicamente sull’analisi di dati e logiche razionali.

Gli algoritmi non sono neutrali

Ma forse non è tutto oro ciò che luccica; la sentenza di Bologna mette a nudo l’aspetto non neutrale degli algoritmi, richiamandone le relative criticità, prima fra tutte quella inerente al deficit di trasparenza e comprensibilità.

Nel caso di specie l’organizzazione del lavoro nella piattaforma di food delivery avveniva tramite i cosiddetti slots (fasce orarie), dove l’algoritmo, in relazione al numero di ordini medio, individuava il numero necessario di riders necessari a coprire efficacemente e celermente tutte le consegne.

Erano due le tipologie di slots: uno libero, ove ognuno si prenotava in ordine cronologico sino a esaurimento dei posti per quella determinata fascia oraria e uno vincolato, ove la precedenza veniva data ai riders che si erano mostrati meritevoli in relazione al rating dato dall’utenza e/o in relazione alle statistiche che venivano raccolte dall’algoritmo stesso.

Ai soggetti più meritevoli, quelli più “affidabili” secondo la piattaforma, veniva riconosciuta la possibilità di accedere in anticipo alla prenotazione degli slots ed è proprio su quest’ultima modalità di organizzazione dell’accesso al lavoro che si è focalizzata l’attenzione del Giudice bolognese.

La scarsa trasparenza e le potenzialità discriminatorie dell’algoritmo

L’algoritmo, infatti, non faceva nessuna distinzione sulla tipologia di assenza del rider che oltre a derivare da motivi sindacali poteva essere legata ad uno stato di morbilità.

Sul punto è significativo un passaggio della pronuncia dove si dichiara che “… è proprio in questa “incoscienza” (come definita da Deliveroo) e “cecità” (come definita dalle parti ricorrenti) del programma di elaborazione delle statistiche di ciascun rider che alberga la potenzialità discriminatoria dello stesso.”

Dunque, l’algoritmo “decisore” sarebbe stato caratterizzato da scarsa trasparenza, rendendo difficoltoso comprendere fino in fondo il suo funzionamento e di motivarne le decisioni a posteriori.

Ciò è confermato in alcuni passaggi del provvedimento in cui si evidenzia che la società non ha fornito prova sulle modalità di funzionamento dell’algoritmo, del suo concreto funzionamento e dei criteri adottati per il calcolo delle statistiche di ciascun rider, né detti criteri vengono specificati sulla piattaforma.

In base a tali considerazioni, quindi, il Tribunale ne ha concluso per l’opacità dell’algoritmo e delle relative modalità di organizzazione del lavoro, derivandone il carattere discriminatorio di detta organizzazione.

I diritti dell’interessato in caso di profilazione

Nell’esaminare il provvedimento, però, vi sono due elementi che spiccano subito all’attenzione di chi si occupa di protezione dei dati personali: da una parte nel procedimento giudiziario non vi è alcun accenno alla profilazione, così come declinata dal Regolamento UE 2016/679 e dall’altra che nessuna delle parti in causa abbia fatto accenno alla normativa in tema di protezione dei dati personali.

Tale assenza appare rilevante in quanto è proprio nel GDPR che si ritrovano le norme positive (uniche fino ad oggi in Europa) che disciplinano i processi decisionali automatizzati.

La tutela degli interessati verso tali forme di trattamento è incardinata principalmente su un divieto generalizzato di trattamento decisionale automatizzato senza consenso ed ulteriormente arricchita di speciali misure e oneri informativi a carico del Titolare, diretti ad assicurare all’interessato il più ampio potere di controllo possibile sull’utilizzo dei propri dati.

Nelle ipotesi in cui il trattamento decisionale automatizzato viene consentito, il Titolare del trattamento ha il dovere di adottare misure appropriate per tutelare i diritti, le libertà e i legittimi interessi dell’interessato, e tra questi, in particolare, è tenuto in ogni caso a garantirgli il diritto di esprimere la propria opinione e di contestare la decisione automatizzata ottenendo l’intervento umano.

La norma prevede che l’interessato possa espressamente chiedere che ogni decisione automatizzata che lo riguardi sia condizionata da un intervento umano, avendo il diritto di esprimere il proprio punto di vista e contestare la decisione, con adeguate motivazioni.

La “prova” delle deroghe

Altro passo significativo della sentenza è quello in cui si evidenzia che la piattaforma di Deliveroo era stata in realtà programmata per prevedere delle deroghe in casi specifici (quello dell’infortunio su turni consecutivi e quello del malfunzionamento del sistema). In tali ipotesi, e solo in queste, venivano previsti interventi correttivi nell’algoritmo che elabora le statistiche dei rider. Proprio tali possibilità hanno fatto ritenere al giudice la discriminatorietà della condotta, in quanto sono idonee a dimostrare sia che è possibile inserire variabili aggiuntive che tengano conto di situazioni differenziate dei lavoratori sia che, il mancato inserimento delle stesse, è stato frutto di una scelta consapevole dell’azienda.

In sostanza, quando vuole l’algoritmo può togliersi la benda che lo rende “cieco” o “incosciente” rispetto ai motivi della mancata prestazione lavorativa da parte del rider e, se non lo fa, è perché l’azienda ha deliberatamente scelto di porre sullo stesso piano tutte le motivazioni – a prescindere dal fatto che siano o meno tutelate dall’ordinamento – diverse dall’infortunio sul lavoro e dalla causa imputabile al datore di lavoro (quale evidentemente è il malfunzionamento della app, che impedisce il log-in).

Quello che l’azienda non ha fatto (in barba al GDPR)

Ciò evidentemente, fa emergere la scarsa trasparenza dello strumento utilizzato ed il contrasto, dal punto di vista della protezione dei dati personali, con gli articoli 22 e 13 del GDPR, che prevedono, in caso di processi decisionali automatizzati non solo i diritti già precedente descritti, ma anche che nell’informativa vi sia una specifica indicazione circa l’esistenza dei processi decisionali ed “informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato”.

Il tema della trasparenza degli algoritmi che incidono sui diritti degli interessati è divenuto oramai un tema sempre più ricorrente nei tribunali italiani (cominciando dalle sentenze dei tribunali amministrativi che per prime avevano affrontato tale tematica) ed è evidente che tale tematica deve cominciare a farsi strada anche negli altri ambiti, grazie anche al carattere trasversale del GDPR.

Nel caso di specie la società, in ossequio al GDPR, avrebbe dovuto dotarsi di tutti gli strumenti tecnici e organizzativi idonei ad assicurare la possibilità di rettifica delle inesattezze dei dati utilizzati nel processo decisionale e ad impedire, tra l’altro, il verificarsi di effetti discriminatori.

In altre parole, un algoritmo conoscibile e comprensibile avrebbe potuto evitare di condurre ad un output decisionale con effetti discriminatori.

Conclusioni

Una considerazione conclusiva può essere fatta sugli sviluppi che potrà avere tale pronuncia nell’ambito dei processi di digital transformation in essere.

La protezione dei dati personali, infatti, deve oramai essere considerata una disciplina non più di “intralcio” a certe attività, ma piuttosto come abilitante a poterle svolgere. Non bisogna dimenticare, infatti, che il GDPR è teso a tutelare sia la protezione dei dati personali delle persone fisiche sia la libera circolazione di detti dati all’interno dell’Unione Europea. Ciò significa che proteggere i dati personali non vuole porre un limite alla tecnologia, ma piuttosto indicare una direzione o, meglio ancora, un binario entro il quale questa è libera di correre, senza deragliare nella violazione dei diritti umani o incrociare la corsa con le libertà fondamentali dell’individuo, ma piuttosto mettendo al servizio di queste la sua velocità in una comune corsa al futuro.

Mentre pronunce come queste ci fanno arrivare alla prossima stazione, e la fantasia diventa ingegneria, è arrivato il tempo di immaginare ed implementare algoritmi e sistemi di intelligenza artificiale che, interiorizzati principi etico-giuridici, siano in grado di assumere in autonomia tutte le scelte procedimentali più opportune per adeguare, dinamicamente, il trattamento dei dati personali alle emergenti necessità di tutela degli interessati, secondo quelle teorie “privacy contestuale” che già in altre parti del mondo stanno emergendo.

WEBINAR
28 Ottobre 2021 - 12:00
FORUM PA 2021- Sanità: Cybersecurity, conoscere per non rischiare
Sicurezza
Cybersecurity
@RIPRODUZIONE RISERVATA

Articoli correlati