Gli algoritmi che prendono decisioni su di noi non sono strumenti neutrali che invochiamo a piacimento: sono infrastrutture, sistemi invisibili che operano prima ancora che ce ne rendiamo conto. E come ogni infrastruttura, incorporano le scelte e i pregiudizi di chi le ha costruite.
Indice degli argomenti
Il mito dell’algoritmo oggettivo
Pensiamo alle infrastrutture come a qualcosa di fisico: strade, reti elettriche, acquedotti. Sistemi che danno forma alla vita quotidiana restando invisibili finché non si rompono. Ma oggi esistono infrastrutture di un altro tipo, algoritmi, motori di raccomandazione, sistemi di scoring automatico che strutturano l’accesso a opportunità concrete: un lavoro, un prestito, una diagnosi, una libertà vigilata. E che, esattamente come quelle fisiche, riflettono le scelte politiche e sociali di chi le ha progettate.
È da qui che conviene partire per smontare un presupposto insidioso: che affidare una decisione a un sistema automatizzato significhi renderla oggettiva. Non è così. Significa semplicemente renderla più difficile da vedere e da contestare.
Immaginate di candidarvi per un lavoro. Il vostro curriculum viene letto, o meglio, scansionato, da un sistema automatizzato che in pochi secondi decide se meritate un colloquio o no. Il sistema non vi conosce, non ha pregiudizi personali, non è stanco né di cattivo umore. Sembra, a prima vista, uno scenario più equo di una selezione affidata a un recruiter umano con le sue simpatie e i suoi schemi mentali inconsci.
Ma è davvero così? La risposta, documentata da anni di ricerca, è no, o almeno non necessariamente.
Tra il 2014 e il 2017, Amazon ha sviluppato internamente un sistema di intelligenza artificiale per la selezione automatica dei curricula. Il modello era stato addestrato sui profili dei dipendenti assunti negli anni precedenti, che erano in larghissima parte uomini. Risultato: il sistema aveva imparato a penalizzare automaticamente i curricula che contenevano parole come “women’s” (come in “women’s chess club”) o che provenivano da college femminili (Dastin, 2018). Amazon ha poi dismesso il progetto, ma l’episodio ha aperto una domanda che da allora non ha smesso di crescere: se un algoritmo impara da dati storici distorti, chi garantisce che le sue decisioni siano giuste?
Il presupposto implicito che una macchina sia più obiettiva di un essere umano, è oggi al centro di un dibattito scientifico e politico che riguarda ambiti molto più ampi della selezione del personale. Riguarda il credito bancario, la valutazione del rischio clinico, i sistemi di sorveglianza, le raccomandazioni dei servizi sociali. E riguarda soprattutto le persone che, in questi processi, non hanno voce.
I casi documentati di bias algoritmico
Il caso Amazon è stato tra i primi a diventare di dominio pubblico, ma è lontano dall’essere isolato.
Nel 2018, la ricercatrice Joy Buolamwini del MIT, insieme a Timnit Gebru, ha pubblicato uno studio destinato a diventare un punto di riferimento nell’intero settore. Analizzando i sistemi commerciali di classificazione del genere prodotti da Microsoft, IBM e Face+, le autrici hanno misurato tassi di errore molto diversi a seconda della fascia demografica considerata. Per gli uomini dalla pelle chiara, i sistemi raggiungevano accuratezze vicine al 99%. Per le donne dalla pelle scura, il tasso di errore arrivava fino al 34,7% (Buolamwini & Gebru, 2018). La conclusione non era che i sistemi fossero discriminatori in senso intenzionale: era che i dataset su cui erano stati addestrati riflettevano una sottorappresentazione cronica di certe popolazioni, e questa sottorappresentazione si era tradotta in prestazioni sistematicamente peggiori proprio per chi era già più vulnerabile.
Un secondo caso spesso citato riguarda COMPAS, un software usato in diversi stati americani per valutare il rischio di recidiva dei detenuti e supportare le decisioni dei giudici sulla libertà vigilata. Un’analisi investigativa pubblicata da ProPublica nel 2016 ha mostrato che il sistema classificava i detenuti afroamericani come ad alto rischio di recidiva quasi il doppio delle volte rispetto ai detenuti bianchi con profili analoghi. Inoltre, quando il sistema sbagliava, tendeva a sbagliare in direzioni opposte a seconda del gruppo etnico, ovvero a sovrastimare il rischio per gli afroamericani, e sottostimarlo per i bianchi (Angwin et al., 2016). Decisioni sulla libertà delle persone, influenzate da un algoritmo con un errore sistematico invisibile agli occhi di chi lo usava.
In ambito sanitario, uno studio pubblicato su Science nel 2019 ha documentato come un algoritmo largamente utilizzato negli Stati Uniti per assegnare risorse e cure a pazienti cronici mostrasse un bias significativo: a parità di condizione clinica, i pazienti afroamericani ricevevano punteggi di rischio più bassi rispetto ai pazienti bianchi, e quindi meno accesso ai programmi di cura avanzata. Il meccanismo era sottile: il modello usava la spesa sanitaria storica come proxy dello stato di salute. Ma poiché i pazienti afroamericani, a parità di condizioni, accedevano storicamente a meno cure per ragioni economiche e strutturali, il modello interpretava questa minore spesa come minore bisogno clinico, perpetuando il ciclo di esclusione. Correggere il proxy avrebbe aumentato la percentuale di pazienti afroamericani identificati per cure avanzate dal 17,7% al 46,5% (Obermeyer et al., 2019).
Infine, uno studio pubblicato su Scientific Reports nel 2025 ha analizzato le immagini di volti generate da modelli di intelligenza artificiale. I risultati mostrano che questi sistemi tendono a produrre volti omogenei attorno a caratteristiche associate ai gruppi demografici dominanti nei dati di addestramento, contribuendo a rafforzare stereotipi di genere e a una omogeneizzazione visiva che cancella la diversità delle popolazioni reali (AlDahoul, Rahwan & Zaki, 2025). Non è solo un problema estetico: quando questi sistemi vengono usati in contesti di riconoscimento o verifica dell’identità, le differenze di prestazione si traducono in esclusione concreta.
I meccanismi tecnici della discriminazione algoritmica
Capire perché questi errori si producono non richiede di entrare nei dettagli matematici del machine learning. Bastano due concetti, che poi si alimentano a vicenda.
Il primo è il dataset bias: i dati su cui un modello viene addestrato non sono una fotografia neutra della realtà, ma una raccolta storicamente situata. Se per decenni certi ruoli professionali sono stati occupati prevalentemente da uomini bianchi, i dati relativi a quei ruoli riflettono questa distribuzione. Un modello addestrato su quei dati impara, letteralmente, che un certo tipo di persona è più “adatta” a quel ruolo, non perché lo sia davvero, ma perché è quella che il passato ha selezionato. Il sistema non inventa pregiudizi: li eredita.
Il secondo meccanismo è il feedback loop discriminatorio. Una volta che il modello è in uso, le sue decisioni producono nuovi dati che spesso finiscono per rialimentare il sistema. Se un algoritmo creditizio nega finanziamenti in modo sproporzionato a certe fasce di popolazione, quelle fasce accumuleranno meno storia creditizia positiva, il che renderà ancora più difficile per loro ottenere credito in futuro, confermando apparentemente la valutazione iniziale del modello. Il circolo si chiude su sé stesso, e ogni iterazione lo rende più difficile da spezzare.
A questi due meccanismi si aggiunge un problema di struttura: la difficoltà di contestare una decisione algoritmica. Quando un essere umano prende una decisione sbagliata, è possibile chiederne conto, mettere in discussione il ragionamento, fare ricorso. Quando la stessa decisione è prodotta da un sistema automatizzato, la sua apparente neutralità tecnica la rende molto più difficile da impugnare. Chi ha rifiutato il mio mutuo? Un algoritmo. Perché? Non è chiaro. Il sistema semplicemente ha calcolato.
Chi paga il prezzo più alto degli algoritmi
Il problema non è distribuito in modo uniforme. Colpisce in modo sproporzionato le popolazioni già ai margini, con una crudele coerenza: i sistemi automatizzati tendono a performare peggio esattamente dove le conseguenze sono maggiori.
Per le persone con disabilità, una recente pubblicazione documenta come i sistemi di IA presentino ancora oggi lacune significative nell’accessibilità e nell’inclusione (Chemnad & Othman, 2024). I dataset di addestramento sottorappresentano sistematicamente le modalità di comunicazione, movimento e interazione delle persone con disabilità, producendo sistemi che funzionano peggio per chi ne avrebbe più bisogno, o per lo meno ne avrebbe il diritto di utilizzo. Questo avviene nelle interfacce di assistenza, nei dispositivi medici e nei sistemi di riconoscimento vocale.
Per le fasce economicamente svantaggiate, il punto critico è spesso l’asimmetria informativa: subire gli effetti di un algoritmo senza avere gli strumenti concettuali, legali o economici per comprenderli o contestarli. Un sistema che valuta il rischio creditizio o l’accesso a servizi sociali agisce su chi ha meno risorse per difendersi, e spesso opera in completo anonimato.
Per le minoranze linguistiche e culturali, la sottorappresentazione nei dati di addestramento si traduce in penalizzazioni concrete e misurabili. I modelli linguistici performano meglio nelle lingue più presenti in rete, essenzialmente l’inglese, e peggio nelle lingue con meno dati disponibili. Ma il problema non è solo quantitativo: è anche culturale. Un sistema addestrato prevalentemente su testi prodotti in certi contesti culturali può risultare inadeguato, fuorviante o discriminatorio quando applicato a contesti diversi.
La psicologia di chi si fida dell’algoritmo
A complicare il quadro c’è un problema che non riguarda i dati né l’architettura dei modelli, ma il modo in cui noi ci relazioniamo con questi sistemi. Per capirlo, è utile partire da un’intuizione apparentemente tecnica: gli algoritmi decisionali non sono semplici strumenti che utilizziamo consapevolmente, ma infrastrutture, ovvero sistemi che, come le strade o le reti elettriche, operano in modo invisibile nella vita quotidiana, dando forma alle nostre scelte e alla nostra percezione della realtà prima ancora che ce ne rendiamo conto.
Queste intuizioni si concretizzano nel lavoro sulle infrastrutture cognitive portato avanti da Riva e colleghi: i sistemi di intelligenza artificiale — motori di ricerca, algoritmi di raccomandazione, modelli linguistici — non sono strumenti che invochiamo a piacimento, ma uno strato ambientale che filtra, ordina e pre-seleziona l’informazione prima che il ragionamento consapevole abbia inizio (Riva, 2025). Chiriatti e colleghi chiamano questo livello Sistema 0, posizionandolo al di là del classico sistema 1 (veloce, intuitivo) e sistema 2 (lento, analitico) di Kahneman. Il System 0 non è un modo di pensare, è l’infrastruttura che precede il pensiero stesso (Chiriatti et al., 2024). Prendendo in prestito questo quadro, delegare a un algoritmo una decisione ad alto impatto come l’accesso al credito o il rischio clinico ad esempio, non è un atto esplicito di fiducia, ma spesso il risultato di un’abitudine cognitiva incorporata e invisibile.
Questo spiega il fenomeno ben documentato dell’automation bias: la tendenza sistematica a sovrastimare l’accuratezza delle raccomandazioni automatizzate anche quando contraddicono il giudizio professionale (Goddard et al., 2012). Non si tratta di ingenuità individuale: è l’effetto prevedibile di un sistema che si è reso trasparente per via dell’uso, e che, proprio per questo, è più difficile da mettere in discussione.
Nel più ampio quadro della psicologia dell’interazione uomo-IA, si osserva come questa delega cognitiva possa trasformarsi in una forma di dipendenza funzionale (Riva et al., 2025): ci abituiamo ad affidare giudizi all’algoritmo non perché sia più accurato, ma perché è più comodo, più rapido, e soprattutto perché ci esime dalla responsabilità di sbagliare da soli. È qui che il bias algoritmico smette di essere un problema puramente tecnico e diventa anche un problema psicologico e sociale: il sistema discrimina, ma nessuno si sente responsabile.
Non è un problema di tecnologia, è un problema di scelte
Di fronte a questi elementi, è facile cedere a due errori simmetrici. Il primo è pensare che la soluzione sia eliminare l’intelligenza artificiale dai processi decisionali ad alto impatto, tornando a decisori umani. Il secondo è aspettare che la tecnologia si corregga da sola, migliorando con il tempo.
Nessuno dei due regge a un esame attento.
I decisori umani non sono privi di bias. Nel loro studio Noise, Kahneman, Sibony e Sunstein documentano come lo stesso giudice possa emettere sentenze significativamente diverse a seconda che si trovi prima o dopo la pausa pranzo, dello stesso medico che varia le diagnosi in funzione dell’ordine in cui vede i pazienti (Kahneman et al., 2021). In certi contesti, un algoritmo coerente può effettivamente ridurre questa variabilità. Il punto non è scegliere tra umani e macchine, ma capire quando e come combinarli, e a quali condizioni.
E l’idea che il problema si risolva con più dati o modelli più grandi è smentita dall’evidenza: sistemi molto più potenti di quelli disponibili nel 2016 continuano a mostrare bias documentabili, perché il problema non è la quantità di dati ma la struttura di ciò che quei dati rappresentano (Bender et al., 2021). La questione centrale non è se i modelli discriminino, ma come si progettano sistemi che non lo facciano, e questo richiede scelte consapevoli a ogni livello: sui dati, sull’architettura, sulle metriche di valutazione (Chen, 2023).
Cosa serve davvero: dal fairness-aware design all’auditing algoritmico
La direzione indicata dalla ricerca più recente non punta all’eliminazione dell’IA, ma alla sua trasformazione. Tre principi emergono con una certa convergenza.
Il primo è il fairness-aware design: integrare considerazioni di equità sin dalle fasi iniziali della progettazione, non come aggiustamento a posteriori. Questo significa scegliere metriche di valutazione che non ottimizzino solo la performance media ma che misurino esplicitamente le disparità tra gruppi demografici; significa raccogliere dati con attenzione alla rappresentatività; significa valutare il sistema anche in base a come si comporta ai margini, non solo al centro della distribuzione. Il framework di Barocas e colleghi offre una delle formalizzazioni più rigorose di questi principi, distinguendo tra diversi criteri di fairness che spesso non sono matematicamente compatibili tra loro e che quindi richiedono scelte esplicite, non tecnicamente neutre (Barocas et al., 2023).
Il secondo è il design partecipativo: coinvolgere le comunità che saranno interessate dalle decisioni del sistema già nelle fasi di sviluppo. Negli ultimi anni si è vista una forte crescita di questo approccio, che ha portato a sviluppare ed analizzare i fondamenti teorici e le pratiche emergenti (Delgado et al., 2023). Non si tratta solo di consultazione: si tratta di riconoscere che chi subisce le conseguenze di un sistema ha una conoscenza del problema che chi lo progetta spesso non possiede. Un sistema che valuta le domande di alloggio pubblico dovrebbe essere sviluppato con il contributo di chi quell’alloggio lo cerca.
Il terzo principio è la trasparenza e l’auditing algoritmico: rendere verificabili le prestazioni dei sistemi, non solo in fase di sviluppo ma durante tutto il loro ciclo di vita. Un’analisi dei quadri politici e partecipativi per l’inclusione nell’IA, propone un framework sistemico che integra policy, istruzione e partecipazione come condizioni necessarie per un’IA che non riproduca le disuguaglianze esistenti (Sarkar, 2025). L’auditing non è un optional etico: è il meccanismo minimo attraverso cui chi è soggetto a una decisione automatizzata può sapere se quella decisione è stata presa in modo equo.
Questi tre principi non sono in contraddizione con l’efficienza o con la scala che i sistemi automatizzati permettono. Sono, piuttosto, la condizione affinché quella scala non diventi scala della discriminazione.
Cosa cambia, in pratica
L’IA nei processi decisionali non è una novità, e non sparirà. I sistemi di scoring creditizio, di valutazione del rischio clinico, di selezione del personale, di identificazione biometrica sono già parte dell’infrastruttura con cui milioni di persone interagiscono ogni giorno, spesso senza saperlo.
Ma a questa infrastruttura tecnica se ne affianca una cognitiva. Gli algoritmi non si limitano a produrre decisioni: plasmano la percezione di chi le riceve e di chi le esegue, normalizzando certi esiti come naturali o inevitabili. Il Sistema 0 che precede il pensiero consapevole (Riva, 2025) si innesta su un’infrastruttura tecnica già distorta, e insieme producono un effetto moltiplicatore. Il bias non viene solo generato dalla macchina, ma viene reso invisibile dalla nostra stessa cognizione.
Riconoscere questo doppio livello cambia la posta in gioco. Non basta chiedere che i sistemi siano più accurati: bisogna chiedersi chi li progetta, su quali dati, con quali criteri di valutazione, e con quali meccanismi di responsabilità. Nessun sistema dovrebbe essere considerato equo per definizione, in virtù della sua natura tecnica. Ogni sistema dovrebbe essere valutato su dati disaggregati per popolazione. Le comunità più colpite dovrebbero partecipare alla definizione dei criteri di valutazione. E dovrebbe esistere un meccanismo accessibile di contestazione per chi ritiene di aver subito una decisione ingiusta.
Non si tratta di essere contro la tecnologia. Si tratta di smettere di usare la complessità tecnica come alibi per l’irresponsabilità. Un’infrastruttura non è neutrale perché è un’infrastruttura. È giusta solo se è stata progettata per esserlo.
Il rischio vero non è che le macchine siano malvagie. È che siano indifferenti e che noi, immersi nelle loro infrastrutture, scambiamo questa indifferenza per oggettività.
Bibliografia
Sarkar, A. (2025). Rethinking AI inclusion: A systems thinking framework for policy, education, and participation. AI Ethics, 5, 6297–6311. https://doi.org/10.1007/s43681-025-00810-9
AlDahoul, N., Rahwan, T. & Zaki, Y. (2025). AI-generated faces influence gender stereotypes and racial homogenization. Scientific Reports, 15, 14449. https://doi.org/10.1038/s41598-025-99623-3
Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016, May 23). Machine bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Barocas, S., Hardt, M., & Narayanan, A. (2023). Fairness and Machine Learning: Limitations and Opportunities. MIT Press. https://fairmlbook.org
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of FAccT 2021, 610–623. https://doi.org/10.1145/3442188.3445922
Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 1–15. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
Chemnad, K., & Othman, A. (2024). Digital accessibility in the era of artificial intelligence: Bibliometric analysis and systematic review. Frontiers in Artificial Intelligence, 7, 1349668. https://doi.org/10.3389/frai.2024.1349668
Chen, Z. (2023). Ethics and discrimination in artificial intelligence-enabled recruitment practices. Humanities and Social Sciences Communications, 10, 1–12. https://doi.org/10.1057/s41599-023-02079-x
Chiriatti, M., Ganapini, M., Panai, E., Ubiali, M., & Riva, G. (2024). The case for human–AI interaction as system 0 thinking. Nature Human Behaviour, 8(10), 1829–1830. https://doi.org/10.1038/s41562-024-01995-5
Dastin, J. (2018, October 10). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
Delgado, F., Yang, S., Madaio, M., & Yang, Q. (2023). The participatory turn in AI design: Theoretical foundations and the current state of practice. Proceedings of the ACM Conference on Equity and Access in Algorithms, Mechanisms, and Optimization, 1–23. https://doi.org/10.1145/3617694.3623261
Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association : JAMIA, 19(1), 121–127. https://doi.org/10.1136/amiajnl-2011-000089
Kahneman, D., Sibony, O., & Sunstein, C. R. (2021). Noise: A Flaw in Human Judgment. Little, Brown and Company.
Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342
Riva, G. (2025). Invisible Architectures of Thought: Toward a New Science of AI as Cognitive Infrastructure. arXiv preprint, 2507.22893. https://arxiv.org/abs/2507.22893
Riva, G., Wiederhold, B. K., & Cipresso, P. (2025). Humane artificial intelligence: Psychological, social, and ethical dimensions. Cyberpsychology, Behavior, and Social Networking. https://doi.org/10.1089/cyber.2025.0202
Partecipa alla community