L’algoritmo non è neutro. Grandi pensatori ed esperienza storica ci insegnano che la tecnica, se non ordinata al bene comune, diviene strumento di dominio e di abuso.
Indice degli argomenti
L’apparente neutralità degli algoritmi maschili
Mi riferisco, ad esempio, alle riflessioni di Carl Schmitt che, pur in un contesto ideologicamente distante dal nostro, metteva in guardia dalla finta neutralità della tecnica: «sorge una religione del progresso tecnico, per la quale tutti gli altri problemi si risolvono da sé, appunto per mezzo del progresso tecnico»[1], o, in tempi più recenti, a Byung-Chul Han che ha parlato – semplificando molto il suo pensiero – di una società nella quale l’algoritmo si trasforma in strumento di dominio psicopolitico[2].
L’algoritmo non può essere neutro, poiché chi programma un algoritmo non è una tabula rasa, ma si porta dietro la propria storia, la propria visione del mondo, i propri codici etici, culturali, religiosi.
Per non considerare – stando proprio al tema di genere – che gli algoritmi sono progettati tendenzialmente da uomini e non da donne. Ed infatti nei settori tecnologici la quota di laureate donne nei settori c.d. STEM è al 16,8% (dati ISTAT 2024)[3].
Il che ha conseguenze di vasta portata, traducendosi in una vertiginosa sotto-rappresentazione del genere femminile nel settore del digitale e dello sviluppo tecnologico[4].
AI e nuove forme di esclusione del femminile
L’interrogativo se lo poneva nel lontano 1949 Simone de Beauvoir nel suo famoso libro “Le deuxieme sex” chiedendosi se sul tema non fosse stato già versato troppo inchiostro.
Certo, da allora molti progressi su questo fronte sono stati compiuti, risultando in parte superato il famoso “tetto di cristallo” che impediva alle donne l’accesso ai ruoli apicali nelle professioni e negli incarichi sia nella dimensione pubblica che in quella privata. E il principio costituzionale delle pari opportunità, inteso come attuazione dell’uguaglianza di cui agli artt. 3, 37, 51, 117, pur non pienamente ancora del tutto soddisfacente, ha fatto molta strada.
Eppure c’è ancora bisogno di parlare delle donne perché c’è in atto un cambiamento di paradigma di riferimento dato dalla tecnologia.
Ovvio che la tecnologia va considerata quale potente fattore di progresso e di civiltà e, lato mondo femminile, uno straordinario strumento di emancipazione, di libertà e di uguaglianza. Eppure tecnologie come l’AI possono, paradossalmente, riproporre antichi stereotipi e dinamiche obsolete e rendere concreto il rischio che le prospettive, le esperienze e le intuizioni delle donne non vengano incorporate nello sviluppo e nell’impiego soprattutto dell’IA.
Bias algoritmici e visibilità del problema
Si tratta davvero di un aspetto tanto nascosto, quanto insidioso, e di un approdo destabilizzante che pone molti interrogativi e poche certezze: per definizione neutrale e impermeabile a ogni condizionamento di carattere soggettivo (cosa c’è di più asettico e imparziale della “macchina” e del calcolo matematico?), si scopre, invece, che la tecnologia – nelle sue applicazioni più avanzate come l’intelligenza artificiale – è manipolabile al pari di una mente (rectius persona) “umana”.
Ma se l’algoritmo viene addestrato con dati e formule matematiche discriminatorie, quali possono essere le conseguenze alle quali si va incontro?
La riflessione sul tema è, purtroppo, ancora ad un livello pioneristico e basato essenzialmente su indici presuntivi, non facilmente misurabili, data la oggettiva difficoltà di penetrare gli algoritmi e la mancanza di conoscenza sui data set con cui vengono addestrati. In più laddove emergano bias di genere, cioè quando tali bias vengono portati alla luce, le aziende utilizzatrici del software corrono prontamente ai ripari, non essendo certamente una buona reputazione essere messi alla gogna per gender gap, specialmente in un’epoca storica dove le questioni del genere – con tutte le connesse policies di c.d. inclusion e di tutela della diversity – sono prese in seria considerazione.
Casi concreti di discriminazione algoritmica
Sta tuttavia emergendo una casistica, a livello di letteratura internazionale, che mette in evidenza il rischio di pregiudizi nei confronti delle donne e la perpetuazione dell’iniqua distribuzione delle occasioni professionali tra generi.
Il settore del lavoro è emblematico.
Interessante il caso di Facebook. La piattaforma è stata più volte al centro di polemiche legate alla distribuzione discriminatoria degli annunci di lavoro sulla base del genere. Notissimo l’esperimento di un gruppo di ricercatori che inserì lo stesso annuncio per tre lavori diversi: cassiere, boscaiolo, taxista. Il lavoro di cassiere raggiunse l’85% di donne; quello di boscaiolo raggiunse il 90% di uomini bianchi; quello di taxista raggiunse il 75% di utenti neri[5].
Non da meno la vicenda che ha interessato Amazon Recruiting Tool. L’azienda voleva automatizzare il processo di selezione del personale con un algoritmo addestrato su 10 anni di dati interni. Il risultato? L’algoritmo penalizzava i CV che contenevano la parola “women’s” o i candidati che provenivano da college femminili. Il sistema era stato, infatti, “allenato” su dati storici parziali perché in Amazon le assunzioni erano sempre state sbilanciate a favore degli uomini[6].
Analogo il caso di Google Ads rispetto al quale è stato documentato che gli account di genere femminile, rispetto a quelli maschili, sulla base degli annunci, accedevano a opportunità lavorative meno retribuite e prestigiose[7].
Ma non mancano esempi di interesse in altri settori.
Nel settore del credito fece clamore il caso di una coppia che aveva fatto richiesta della Apple Card. Nonostante la donna avesse maggiori introiti e gestisse le finanze familiari, ricevette un fido di 20 volte inferiore. L’algoritmo, sviluppato da Goldman Sachs, fu accusato di discriminazione automatica di genere e ritirato. L’azienda non riuscì a spiegare il motivo e il caso fu indagato dal dipartimento finanziario dello Stato di New York[8].
Poi ci sono stati casi di algoritmi di riconoscimento facciale con pregiudizi di genere o legati al colore della pelle, o discriminazione nei sistemi di traduzione automatica. Interessanti in proposito due ricerche del 2024 che hanno evidenziato che alcuni sistemi di traduzione automatica tendono ad associare professioni come “ingegnere” al maschile e “infermiere” al femminile anche laddove le professioniste sono donne, riflettendo pregiudizi presenti nei dati di addestramento[9].
Un altro studio ha evidenziato che alcuni algoritmi di raccomandazione musicale tendevano a promuovere più gli artisti maschili rispetto a quelli femminili, contribuendo a una minore visibilità delle donne nell’industria musicale[10].
Come pure una recente indagine ha scoperto che “Sora”, uno strumento di generazione video sviluppato da OpenAI, perpetuava stereotipi di genere. Ad esempio, i video generati tendevano a rappresentare piloti, CEO e professori come uomini, mentre le donne erano raffigurate come assistenti di volo, receptionist e lavoratrici nel settore dell’infanzia[11].
Secondo un Report UNESCO del 2024[12], come i motori di ricerca un tempo, anche lo sviluppo dei cd. Large language models sembra replicare le discriminazioni e i divari di genere esistenti. Secondo l’analisi, ad esempio, le donne vengono descritte quattro volte più spesso come “lavoratrici domestiche” rispetto agli uomini, inoltre vengono in molti casi associate a parole come “casa”, “famiglia” e “bambini”, mentre gli uomini sono più spesso collegati ai concetti e ai termini di “affari”, “dirigente”, “stipendio” e “carriera”.
Limiti dell’AI Act nella tutela di genere
In questo contesto, l’Unione europea può costituire un fattore trainante verso un’inversione di tendenza anche grazie alla forza persuasiva delle sue norme: l’impatto ad ampio raggio dei sistemi di intelligenza artificiale non sono limitati al territorio dell’UE, ma producono effetti su scala globale, come testimonia il dibattito mondiale sull’IA.
I riferimenti sono incoraggianti: si parte dalla CDFUE, dove è affermato solennemente nel suo preambolo che l’obiettivo è quello di “rafforzare la tutela dei diritti fondamentali alla luce dell’evoluzione della società, del progresso sociale e degli sviluppi scientifici e tecnologici”, per cui è “vietata qualsiasi forma di discriminazione fondata, in particolare [rectius in primis], sul sesso” (art. 21, par. 1).
E ancora il TFUE il quale art. 8 prevede che “Nelle sue azioni l’Unione mira ad eliminare le ineguaglianze, nonché a promuovere la parità, tra uomini e donne”.
Su tali presupposti giuridici, nella consapevolezza dei pericoli insiti nei sistemi di intelligenza artificiale, era lecito aspettarsi che nell’ambiziosissimo intento dell’UE di adottare addirittura un Regolamento in materia di intelligenza artificiale, la discriminazione di genere – quella più evidente e più temibile perché riguardante un numero esteso di persone – trovasse ben ampio spazio tra le criticità e le derive negative da contrastare.
Sorprendentemente (anzi, tristemente) non è così: sotto questo profilo, il Regolamento europeo sull’intelligenza artificiale rappresenta un’occasione mancata.
Nel testo del Regolamento i riferimenti alla discriminazione e all’uguaglianza di genere sono principalmente presenti nei considerando, dunque all’interno di disposizioni non prescrittive.
L’AI Act contiene solo un richiamo alla circostanza che le inesattezze di carattere tecnico dei sistemi di IA possono determinare risultati distorti e comportare effetti discriminatori.
Si tratta di un effetto particolarmente grave quando si trattano aspetti quali età, etnia, sesso o disabilità poiché se progettati e utilizzati in modo inadeguato, tali sistemi possono perpetuare modelli storici di discriminazione “ad esempio nei confronti delle donne” o dar vita a nuove forme di effetti discriminatori. Si pensi, ad esempio, ai sistemi di IA impiegati nell’ambito dell’istruzione e dell’occupazione (conss. 56 e 57). O, ancora, ai sistemi di IA utilizzati per l’accesso ai servizi e alle prestazioni essenziali (cons. 58).
AI Act e occasioni mancate sul fronte antidiscriminatorio
A livello precettivo, però, sono solo vietati i sistemi di IA social scoring, ossia quei sistemi di IA che valutano o classificano le persone o i gruppi di persone sulla base di loro “caratteristiche personali”, ma non vi è esplicito riferimento al genere (cfr. art. 5, par. 1, let. c) dell’AI Act.
Sono riduttivamente classificati ad alto rischio i sistemi di categorizzazione biometrica, cioè sistemi di IA che utilizzano i dati biometrici di persone fisiche al fine di assegnarle a categorie specifiche, quali quelle basate sul sesso (art. 6 e allegato III dell’AI Act).
Un confronto normativo tra AI Act e Convenzione del Consiglio d’Europa
Volendo tracciare un confronto con il testo della Convenzione del Consiglio d’Europa sull’intelligenza artificiale e i diritti umani, la democrazia e lo Stato di diritto, quest’ultima contiene una disposizione precettiva che impone agli Stati contraenti di “adottare o mantenere misure nell’ottica di garantire che le attività nell’ambito del ciclo di vita dei sistemi di IA assicurino l’uguaglianza, inclusa la parità di genere, e rispettino il divieto di discriminazione”(art. 10, par. 1 della Convenzione).
Nella prospettiva di assicurare l’uguaglianza sostanziale, il par. 2 prevede inoltre che gli Stati contraenti “adottino o mantengano misure volte a superare le disuguaglianze per conseguire risultati giusti, equi e corretti in relazione alle attività del ciclo di vita dei sistemi di intelligenza artificiale”.
Protezione dei dati come strumento contro i bias di genere
La lettura dell’AI Act, proprio per la povertà dei suoi contenuti in senso antidiscriminatorio, suggerisce alcune linee di intervento che possono essere colmate mediante il richiamo ad altre discipline, in particolare quella a tutela dei dati personali.
La protezione dei dati personali può offrire interpretazioni, soluzioni e misure tecniche inaspettatamente utili a prevenire e ridurre le forme analizzate di discriminazione algoritmica perché gli algoritmi e i sistemi di IA, che si nutrono di dati personali, possono essere nutriti con informazioni esatte in modo da garantire output corretti e non discriminatori.
Verso un’algoritmica inclusiva e rappresentativa
In questa prospettiva la protezione dei dati personali offre diverse cautele.
Pensiamo alla rimozione di dati di natura particolare dal dataset utilizzato nel processo decisionale automatizzato, sancito dall’art. 9 GDPR. Rimuovendo dati particolari relativi al genere, all’orientamento sessuale e all’origine etnica si possono prevenire possibili distorsioni e discriminazioni.
Inoltre il principio di esattezza dei dati ex art. 5, par. 1, lett. e) GDPR suggerisce la costruzione di dataset più imparziali per affrontare i pregiudizi algoritmici. È possibile correggere gli squilibri dei dati ricorrendo a fonti di dati più eque, per garantire un processo decisionale equo. Penso al Decalogo sull’utilizzo dell’intelligenza artificiale in sanità adottato dal Garante[13] in cui è stato sottolineato che il dato non aggiornato o inesatto può influenzare l’efficacia, la correttezza e la qualità dei servizi sanitari, determinando, ad esempio, l’esclusione dalle cure adeguate o diagnosi scorrette perché fondatesu dati non sufficientemente rappresentativi della salute femminile.
Anche il principio di minimizzazione è uno strumento utile perché indica che i dataset non dovrebbero essere costruiti con raccolte estese e indiscriminate di dati. I cd. small data, più specifici e pertinenti dei big data, possono offrire informazioni dettagliate e mitigare gli errori di assunzione algoritmici[14].
La trasparenza, che si traduce in un diritto alla “spiegazione algoritmica”, è cruciale per svelare eventuali bias insiti nel funzionamento dei sistemi di IA. In base al principio, gli interessati hanno diritto di comprendere la logica algoritmica retrostante i processi decisionali automatizzati e le conseguenze che possono derivare dalla decisione assunta dal sistema di IA.
Tuttavia non è sempre facile svelare i bias algoritmici perché non è sempre possibile determinare tecnicamente come gli algoritmi e i sistemi di IA raggiungano un determinato risultato. È il problema della ‘scatola nera algoritmica’che, tuttavia, può essere affrontato, ad esempio sottoponendo a controlli esterni i sistemi algoritmici e di IA per monitorare, identificare e correggere eventuali distorsioni. In tali audit algoritmici possono essere coinvolte diverse professionalità e sensibilità, quindi non soltanto giuristi, matematici e ingegneri ma anche sociologi ed esperti in tutele antidiscriminatorie.
In questa prospettiva, l’Autorità può rendere la trasformazione tecnologica accettabile e utile anche per la componente femminile della società.
Una costituzione algoritmica per l’uguaglianza di genere
Le tecnologie oscillano tra nuove occasioni e antichi stereotipi, affermazioni di cambiamento e sedimenti culturali, politiche emancipative e dinamiche obsolete, acutizzando il digital gender gap tra il genere maschile e femminile, aspetto decisivo per il mancato riconoscimento di libertà e uguaglianza delle persone, nonostante il loro rispetto sia uno dei principi fondanti degli ordinamenti democratici e delle società pluralistiche.
Occorre elaborare una algoritmica costituzionale, demolire una costruzione culturale stratificata nel tempo che tende escludere e discriminare la componente femminile, riverberandosi pesantemente nella modernizzazione tecnologica, creando inedite forme di discriminazione: si tratta di un obiettivo indispensabile da raggiungere, in modo da creare un clima di fiducia nei nuovi sistemi digitali, componenti essenziali dello sviluppo economico sociale mondiale.
Allora per non “subire” la trasformazione tecnologica alla quale assistiamo e renderla accettabile e utile per tutti, i sistemi di intelligenza artificiale devono essere affidabili: non si tratta di frenare l’innovazione, ma di governarla secondo i principi fondamentali del diritto che puntano alla definitiva eliminazione delle discriminazioni di genere.
Per addivenire a una futuribile “costituzione algoritmica” rispettosa dei diritti e delle libertà fondamentali, ovvero garantire il diritto alla “parità algoritmica”, occorre perseguire, come obiettivo strategico, la costruzione di un “ecosistema di fiducia”, secondo un imperativo etico inderogabile che assicuri e garantisca il rigoroso rispetto dei diritti e delle libertà fondamentali e, segnatamente, dell’uguaglianza di genere. Le persone che interagiscono con i sistemi di intelligenza artificiale devono poter mantenere la propria piena ed effettiva autodeterminazione e giovarsi di un aumento delle abilità cognitive, nella consapevolezza che viene sempre assicurato il rispetto dell’autonomia, dell’equità e della dignità umana.
Inoltre, è auspicabile sventare il rischio di generare forme di “patriarcato robotico”, espressione di una novella società digitale fondata sul predominio maschile, che porterebbe in sé una aggravante inedita: se nella società “analogica” i sistemi giuridici, sebbene fondati sul principio della territorialità del diritto, potevano anche fungere da modello positivo, generare un virtuoso effetto emulativo, esercitare vis expansiva positiva sugli ordinamenti più arcaici (come si è verificato nel caso della disparità di genere), questi stessi effetti positivi rischiano di non essere configurabili nel mondo digitale e senza confini fondato su sistemi di intelligenza artificiale, che inevitabilmente portano ad una forte omologazione. Omologazione che, se poggiata su presupposti errati perpetuando le discriminazioni di genere, rischierebbe di dare una spinta altrettanto forte verso un arretramento delle conquiste di genere fino ad oggi ottenute.
Sarà un compito non banale, per gli interpreti, andare oltre il dato letterale ed estendere i confini angusti del Regolamento europeo trasformandolo da “occasione mancata” a “opportunità imperdibile” grazie ad un’applicazione coordinata e sistematica con le norme sul diritto alla protezione dei dati personali.
Note
[1] C. Schmitt, Le categorie del politico. Saggi di teoria politica (a cura di G. Miglio, P. Schiera), Bologna, Il Mulino, 172.
[2] B-C. Han, Psicopolitica. Il neoliberismo e le nuove tecniche di potere, Roma, Nottetempo, 9 ss.
[3] Per le c.d. discipline STEM, i dati dell’ISTAT 2024, ci rivelano che esiste ancora un ampio divario di genere e di competenze nei settori tecnologici (la quota di laureati in materie STEM sale al 37,0% tra gli uomini (+2,5 punti percentuale rispetto al 2022) e scende al 16,8% tra le donne. Questa divisione di genere naturalmente si rispecchia nel mercato del lavoro, dove la percentuale di donne che esercitano professioni STEM (pari al 14%) è rimasta quasi immutata nell’ultimo decennio secondo l’Istituto europeo per l’uguaglianza di genere).
[4] Nel Global gender gap report del World Economic Forum del 2025 viene rilevato che nel 2024 solo il 35% dei talenti operanti nell’ambito dell’IA erano di genere femminile (con un lieve aumento rispetto ai due anni precedenti). Secondo il rapporto, la rappresentanza femminile nel settore dell’IA sta comunque progredendo e tra il 2018 e il 2015 la forbice tra i generi si è assottigliata.
[5] L’esperimento è riportato in M. Ali, P. Sapiezynski, M. Bogen, A. Korolova, A. Mislove, A. Rieke, Discrimination through optimization: How Facebook’s ad delivery can lead to skewed outcomes, in Proceedings of the ACM on Human-Computer Interaction, 3, 2019.
[6] V. Reuters, Amazon scraps secret AI recruiting tool that showed bias against women, 11 ottobre 2018, su https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/.
[7] A. Datta, M. Tschantz, Automated Experiments on Ad Privacy Settings: A Tale of Transparency and Control, in Proceedings on Privacy Enhancing Technologies, 1, 2015, 92-112. I ricercatori hanno usato profili fittizi (via AdFisher) per dimostrare che i profili maschili ricevevano molti più annunci per carriere manageriali da 200.000 dollari rispetto a quelli femminili (1.852 “impressioni” contro 318).
[8] Tra gli altri, la notizia fu riportata da Wired, The Apple Card Didn’t See Gender – and That’s the Problem, 19 novembre 2019, online su https://www.wired.com/story/the-apple-card-didnt-see-genderand-thats-the-problem/.
[9] Si tratta dello studio condotto da F. Mohammadi, M. A. Tamborini, P. Ceravolo, C. Nardocci, S. Maghool, Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks, presentato al Third European Workshop on Algorithmic Fairness (EWAF 2024),online su https://ceur-ws.org/Vol-3908/paper_54.pdf; e dello studio condotto da B. Savoldi, S. Papi, M. Negri, A. Guerberof Arenas, L. Bentivogli, What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study, online su https://aclanthology.org/2024.emnlp-main.1002.pdf.
[10] L. Aguiar, J. Waldfogel, S. Waldfogel, Playlisting favorites: Measuring platform bias in the music industry, in International Journal of Industrial Organization, 78 (2):102765, 2021.
[11] V. l’inchiesta condotta su Wired da R. Rogers, V. Turk, OpenAI’s Sora Is Plagued by Sexist, Racist, and Ableist Biases, in Wired, 23 marzo 2025, online su https://www.wired.com/story/openai-sora-video-generator-bias/.
[12] UNESCO, Challenging Systematic Prejudices: An Investigation into Bias Against Women and Girls in Large Language Models, Doc. CI/DIT/2024/GP/01, 2024, online su https://unesdoc.unesco.org/ark:/48223/pf0000388971?posInSet=1&queryId=N-EXPLORE-27c4b489-0725-46cf-addb-8b42a44e8df7.
[13] Garante per la Protezione dei Dati Personali, Decalogo per la realizzazione di servizi sanitari nazionali attraverso sistemi di Intelligenza Artificiale, settembre 2023, online su https://www.garanteprivacy.it/documents/10160/0/Decalogo+per+la+realizzazione+di+servizi+sanitari+nazionali+attraverso+sistemi+di+Intelligenza+Artificiale.pdf/a5c4a24d-4823-e014-93bf-1543f1331670?version=2.0.
[14] R. Kitchin, T.P. Lauriault, Small data in the era of big data, 80(4), 2015, 463-475.
