L’intelligenza artificiale basata su agenti (anche intelligenza artificiale autonoma) non si limita a rispondere. Attraverso strumenti come software, API, database e canali di comunicazione pianifica e compie sequenze di azioni nel tempo. Ne osserva gli esiti, raccoglie feedback e ricalibra la rotta per perseguire un obiettivo entro vincoli definiti.
La sua diffusione sta cambiando il nostro rapporto con l’intelligenza artificiale. Il punto non è più verificare se la chatbot con cui conversiamo ‘dica cose vere’, ma chiedersi se il sistema di agenti che mettiamo al lavoro faccia le cose giuste. ‘Giuste’, in senso operativo, significa coerenti con lo scopo per cui l’agente è impiegato, rispettose dei vincoli (norme, policy, procedure), proporzionate negli impatti (costi, effetti collaterali, reversibilità) e sostenibili sul piano della responsabilità (attribuibili, tracciabili, difendibili).
Indice degli argomenti
Come governare l’intelligenza artificiale basata su agenti
Per sapere se il sistema di agenti faccia le cose giuste dobbiamo esercitare un giudizio. Non un controllo a campione sull’output, ma una valutazione di scopo e sulle conseguenze delle sue azioni. In altre parole, dobbiamo decidere quali obiettivi siano legittimi, quali vincoli non negoziabili, quali trade-off accettabili, e quando l’agente debba fermarsi o chiedere autorizzazione. Il giudizio serve a trasformare l’autonomia tecnica dell’agente in un’autonomia operativa governabile che preservi l’efficienza e sia, allo stesso tempo, tracciabile, proporzionata e responsabile.
L’esercizio di giudizio è decisivo affinché l’utilizzazione dei sistemi di agenti non si trasformi in rischio sistemico. Purtroppo, il giudizio è influenzato da errori economici e cognitivi. Su questi ultimi, meno battuti ma non meno importanti, voglio concentrarmi.
L’area procurement di una grande impresa introduce un sistema di agenti con l’obiettivo di massimizzare i risparmi riducendo i prezzi di acquisto e i tempi di negoziazione. Il sistema di agenti ha accesso a listini, performance dei fornitori, scorte, e può rinegoziare automaticamente condizioni, redistribuire volumi e sostituire fornitori meno competitivi. Nel giro di alcuni mesi l’agente concentra gli ordini su pochi fornitori aggressivi sui prezzi, riscrive i contratti rendendoli più rigidi, accorcia i tempi di consegna e penalizza chi chiede flessibilità.
Tutto sembra efficiente – finché arriva un piccolo shock (per esempio, un ritardo logistico o una crisi geopolitica). A quel punto la fragilità costruita dall’ottimizzazione si manifesta: mancano alternative pronte, le scorte non bastano, le linee produttive rallentano e i clienti non ricevono i beni nei tempi stabiliti. La crisi diventa sistemica dentro l’impresa nel senso che coinvolge l’attività di produzione, la solidità finanziaria, il numero di procedimenti legali in cui l’impresa è costretta a difendersi e, in definitiva, la reputazione aziendale.
Badate bene: l’errore iniziale non è tecnico, è un errore di giudizio economico. Un sistema di agenti può essere bravo a ottenere sconti e allo stesso tempo miope nel costruire dipendenza e fragilità. Infatti, il sistema ottimizza il prezzo come metrica dominante e tratta come secondari i costi che non sono riportati nel foglio Excel quali la resilienza della filiera, il rischio di avere un unico fornitore, la qualità nel lungo periodo, la compliance e la reputazione. Ma è soprattutto un errore di giudizio cognitivo. L’area procurement si fida perché i numeri le danno ragione e smette di esercitare il giudizio lasciando scivolare l’intera organizzazione nella compiacenza – “se c’è un problema, il sistema di agenti lo risolverà”.
Fiducia calibrata
Quando un’organizzazione adotta un sistema di agenti basati su intelligenza artificiale, la domanda che ci si pone è: “Possiamo fidarci?” Così formulata, la domanda è sbagliata perché sollecita una risposta binaria – sì o no, fiducia o sospetto – che costringe a scegliere tra due posizioni ugualmente disfunzionali: delegare ogni decisione al sistema, ovvero rifiutarlo vanificandone il potenziale. La domanda giusta è un’altra: “Quanto dobbiamo fidarci?” Perché la fiducia non è un interruttore on/off, ma un livello in uno spettro di possibilità, al cui interno si trova il punto ottimale, la fiducia calibrata.
Equilibrio tra misuse e disuse
Il concetto fu formalizzato da John Lee e Katrina See in un articolo del 2004 che ha definito il campo degli studi su automazione e fiducia.[1] La loro tesi è che la fiducia sia calibrata quando corrisponda alle capacità reali del sistema. Se il sistema è accurato all’85% in un certo compito, la fiducia è calibrata se ci si affida ad esso con quella stessa probabilità, mantenendo un 15% di vigilanza critica. Purtroppo, l’esatta calibrazione è rara. Nella maggior parte dei casi, la fiducia è mal calibrata, in entrambe le direzioni. Quando la calibrazione è imperfetta, si manifestano due pattern d’uso disfunzionali: il misuse e il disuse.
Misuse è il termine usato per definire l’eccesso di fiducia. Quando ci affidiamo al sistema oltre le sue capacità reali, cioè gli deleghiamo decisioni che non è in grado di gestire, seguiamo i suoi suggerimenti anche in contesti per cui non è stato addestrato o, ancora, ignoriamo segnali che rivelano un suo errore, stiamo facendo eccessivo affidamento sulle sue capacità. Per esempio, il sistema è accurato al 70%, ma noi ci fidiamo come se fosse accurato al 95%. La differenza è il misuse.
I costi del misuse sono significativi. Una ricerca pubblicata su JAMA nel 2005 da Ross Koppel e dei suoi colleghi su degli ospedali che avevano adottato un sistema di supporto alle decisioni cliniche per le prescrizioni farmacologiche rilevò che il sistema introduceva numerosi nuovi tipi di errori medici, in parte perché i medici seguivano automaticamente i suggerimenti senza verificare interazioni farmacologiche complesse che il sistema non era programmato per rilevare.[2] Il misuse aveva peggiorato la performance invece di migliorarla.
Il disuse è l’errore opposto, cioè l’insufficienza di fiducia. Il sistema è capace, ma ne ignoriamo i suggerimenti anche quando sono corretti. Di conseguenza, duplichiamo manualmente lavoro che potrebbe fare meglio di noi e rinunciamo ai benefici dell’automazione per eccesso di cautela. Per esempio, il sistema è accurato al 90%, ma noi ci fidiamo come se fosse accurato al 50%. Anche qui la differenza, sebbene di segno opposto, è la misura del disuse.
I costi del disuse sono ugualmente reali. Un’azienda che installi un sistema di previsione della domanda basato su machine learning ma, per sicurezza, continui a fare previsioni manuali, paga il costo dell’investimento tecnologico senza catturarne i benefici. Paradossalmente, il disuse può anche ridurre la sicurezza: se un pilota ignora sistematicamente gli avvisi del sistema anticollisione perché dà troppi falsi allarmi, rischia di ignorare anche quello vero.
Perché la fiducia si sovrastima
Misuse e disuse sono errori speculari, analoghi agli errori di Tipo I e Tipo II nei test statistici. Il misuse equivale a un falso positivo – seguiamo il sistema quando sbaglia. Il disuse equivale a un falso negativo – rifiutiamo il sistema quando è corretto. Come in ogni test statistico, ridurre un tipo di errore tende ad aumentare l’altro: se diventiamo più cauti per evitare misuse, aumentiamo il disuse; se diventiamo più fiduciosi per evitare disuse, aumentiamo il misuse. La fiducia calibrata è quella che trova il punto di equilibrio minimizzando la somma ponderata dei due costi, esattamente come la scelta della soglia ottimale in un test di ipotesi.
Ma, perché calibrare la fiducia è così difficile? La risposta è che calibrare la fiducia richiede due condizioni raramente soddisfatte con i sistemi di intelligenza artificiale. La prima condizione è un modello mentale accurato delle capacità del sistema. L’operatore deve sapere cosa il sistema sappia o non sappia fare, in quali contesti sia affidabile, in quali condizioni degradi, quali tipi di errori possa commettere.
Con strumenti tradizionali la consapevolezza delle capacità del sistema è raggiungibile. Per esempio, non è difficile verificare che una calcolatrice esegua correttamente una somma. Ma con sistemi di intelligenza artificiale, il modello mentale è quasi impossibile da costruire. Il sistema opera come una black box per cui non sappiamo prevedere quando sbagli.
La seconda condizione è il feedback continuo e affidabile sulle performance reali. La fiducia si calibra attraverso l’esperienza. Se il sistema sbaglia spesso, la fiducia scende e viceversa. Il meccanismo funziona solo se gli errori sono visibili e frequenti. Con sistemi di intelligenza artificiale applicati a decisioni complesse, entrambe le condizioni mancano. Gli errori sono rari (il sistema è accurato al 90-95%) ma con conseguenze asimmetriche – 95 successi invisibili, 5 fallimenti potenzialmente catastrofici. E anche quando l’errore accade, spesso è riconoscibile solo dopo tempo. Il feedback è ritardato e di difficile attribuzione.
A causa della mancanza di un modello mentale e di feedback scarsi, osserviamo una deriva sistematica verso la sovrastima. Le ricerche sulla dinamica della fiducia (per una rassegna si veda [3]) mostrano che la fiducia si forma rapidamente con pochi successi, ma erode lentamente anche con molti fallimenti. L’asimmetria nella formazione della fiducia porta a una calibrazione sistematicamente troppo alta: crediamo il sistema più capace di quanto realmente sia.
Quando il controllo umano si riduce
Torniamo all’esempio del sistema di agenti per il procurement. All’inizio, la fiducia è ragionevolmente calibrata. Il procurement manager sa che il sistema ottimizza i prezzi, ma ne controlla l’operato su altri aspetti – qualità, affidabilità del fornitore, rischio di dipendenza. Fa verifiche a campione, revisiona talune decisioni critiche e mantiene relazioni dirette con i fornitori chiave.
Nei primi mesi, il sistema funziona bene. I prezzi scendono e le negoziazioni sono più rapide. I report rivelano successi visibili e non si accorgono né che il fornitore ha una quota crescente delle forniture con conseguente aumento del rischio di concentrazione, né che il fornitore alternativo è escluso sistematicamente. Il buon funzionamento inoltre incentiva il manager a ridurre lo sforzo [4], limitando verifiche e interventi in prima persona.
La fiducia nel sistema di agenti aumenta. Anche le relazioni dirette con i fornitori si diradano – sono sempre meno e comunque gli agenti gestiscono i rapporti efficacemente. Dopo alcuni mesi, la fiducia è già mal calibrata. Il manager sovrastima l’accuratezza del sistema, soprattutto su alcune dimensioni critiche.
Automation bias
Il misuse si allarga e il manager non se ne accorge perché i segnali di allarme che dovrebbero indicare che il sistema sta costruendo fragilità sono deboli e interpretabili come rumore. Nell’organizzazione ormai prevale l’automation bias. Non solo la fiducia nel sistema di agenti è troppo alta, ma è anche rigida. Quando finalmente emergono segnali che il sistema stia sbagliando, il manager tende a ignorarli.
Due errori dell’automation bias
L’automation bias non è semplicemente fidarsi troppo. È invece la tendenza, più insidiosa, a seguire i suggerimenti di un sistema automatico anche quando le informazioni suggeriscano il contrario perché la fiducia è impermeabile all’aggiornamento delle informazioni. Di fronte ai segnali d’allarme, invece di ricalibrare verso il basso, il manager continua a fidarsi.
Il fenomeno fu identificato negli anni ’90 da Kathleen Mosier e Linda Skitka, ricercatrici che studiavano l’interazione tra piloti e sistemi automatici di navigazione aerea. Esse scoprirono che i piloti tendevano a seguire le indicazioni del pilota automatico anche quando contraddicevano altre fonti di informazione disponibili in cabina. Il bias non era imputabile a ignoranza dato che i piloti erano consapevoli delle informazioni contrastanti, ma a una tendenza cognitiva ad attribuire all’output del sistema automatico uno status cognitivo speciale, quasi fosse un’autorità epistemica che solo evidenze straordinariamente forti avrebbero potuto mettere in discussione.
Anche in questo caso si manifestano due tipi di errore. Il primo, che prende il nome di commission error, è l’equivalente di un falso positivo: si accetta un suggerimento che si sarebbe dovuto rifiutare. Per esempio, il pilota automatico dice “svolta a sinistra”, e il pilota umano svolta a sinistra sebbene non avrebbe dovuto farlo. Il secondo tipo di errore prende il nome di omission error. Esso è l’equivalente di un falso negativo: non vedi l’errore perché non è nel tuo campo visivo cognitivo poiché il sistema lo ha filtrato. L’omission error è insidioso perché non è una scelta (“seguo il sistema nonostante i dubbi”) ma l’assenza di consapevolezza (“non so che c’è un problema”).
L’evidenza empirica sull’automation bias è diffusa e convincente. Un caso interessante è riportato dalla NHTSA (National Highway Traffic Safety Administration) su incidenti con sistemi ADAS di livello 2 di assistenza alla guida come il Tesla Autopilot. In 10 mesi tra il 2021 e il 2022, la NHTSA registra 392 incidenti in cui questi sistemi sono coinvolti, il 70% dei quali riguarda Tesla. La causa più frequente è la distrazione del conducente. Fidandosi del sistema, chi guida smette di monitorare attivamente la strada, riducendo sino al 40% l’attenzione visiva.
L’automation bias persiste perché scavalcare il sistema è cognitivamente costoso. Anzitutto, bisogna riconoscere la contraddizione tra sistema e altre fonti, quindi valutare la relativa affidabilità di ciascuna fonte. Ancora, anche se l’inaffidabilità dell’automazione fosse riconosciuta, il decisore dovrebbe assumere la responsabilità della deviazione e della conseguente esecuzione dell’azione alternativa.
Ciascuno di questi passi richiede sforzo cognitivo. Conviene? Proviamo a fare un semplice calcolo. Se il sistema è stato affidabile nel 95% dei casi passati, il calcolo implicito è: “La probabilità che io abbia ragione e il sistema torto è non superiore al 5%. Considerato lo sforzo, vale la pena assumere il rischio?” Spesso la risposta è negativa.
L’intelligenza artificiale basata su agenti e i segnali ignorati
Torniamo al nostro esempio sul procurement. La fiducia del manager nel sistema di agenti è alta. Il sistema ha ridotto i costi, le negoziazioni sono più rapide, tutto sembra funzionare. Emergono dei segnali d’allarme. Il fornitore A, sul quale il sistema ha concentrato il 40% degli ordini, pubblica una trimestrale debole. Il debito è aumentato, i margini sono sotto pressione, due analisti finanziari lo declassano. Il manager lo nota, ma non il sistema che continua a classificare A come ‘fornitore ottimale’. A questo punto il manager commette un commission error: segue il sistema, convinto che abbia più dati e migliori per cui è ragionevole ritenere i segnali d’allarme temporanei.
Nel frattempo, un fornitore B viene progressivamente escluso dal sistema di agenti perché i suoi prezzi sono più alti. Ma B ha una storia di affidabilità, relazioni consolidate con il gruppo tecnico dell’ufficio procurement, capacità di scalare rapidamente in emergenza. Il sistema non vede questi attributi qualitativi e il manager commette un omission error: non si accorge che sta perdendo un asset strategico.
Passa del tempo. Il fornitore A entra in crisi di liquidità e sospende le consegne per due settimane. La produzione rallenta, i clienti non ricevono ordini, il danno reputazionale si accumula. Il manager cerca di riattivare B, ma questi ha reindirizzato capacità produttiva verso altri clienti. La crisi diventa sistemica.
Perdita delle competenze
Sebbene l’automation bias abbia reso rigida la fiducia del manager anche di fronte a evidenze contrarie, forse non tutto è perduto. Si può sempre tornare a gestire il procurement manualmente. Davvero? Dopo un tempo prolungato di delega al sistema, il manager e l’ufficio hanno perso parte del know-how che possedevano. Non hanno più le competenze per confrontare approfonditamente le diverse offerte, le relazioni con i fornitori si sono raffreddate, persino l’intuito negoziale del manager potrebbe non essere più lo stesso. Siamo di fronte al fenomeno della perdita delle competenze (deskilling).
Come si deteriora il know-how
Quando il manager lascia che il sistema di agenti gestisca i confronti tra i fornitori, sta facendo una scelta attiva e razionale di delegare un compito cognitivo all’esterno. Libera tempo ed energie mentali per concentrarsi su attività che considera più strategiche. Nel breve termine, è una decisione sensata. Ma tempo dopo, quando prova a fare un benchmarking manualmente scopre che è più difficile di quanto ricordasse. Alcune metriche sono cambiate, come anche i dati e i pesi dei fattori qualitativi. Passa dell’altro tempo e la difficoltà diventa un divario di competenza. Questo è il deskilling, la degradazione passiva e involontaria delle abilità non praticate.
Il fenomeno che sto descrivendo è noto ai professori. Tra il momento dell’apprendimento di una regola esplicita (“per valutare un fornitore, confronta prezzo, qualità, affidabilità, capacità”) e la costruzione di una abilità autonoma c’è una enorme quantità di pratica ripetuta con feedback. Senza pratica, la proceduralizzazione non avviene. E una volta raggiunta, la competenza si mantiene solo con l’uso continuato. La delega ai sistemi di intelligenza artificiale basata su agenti interrompe il ciclo perché non facendo più pratica si perde la scorrevolezza procedurale. La regola esplicita resta, ma la capacità esecutiva si deteriora.
Anche nello sviluppo software emergono preoccupazioni simili. Sebbene assistenti AI come GitHub Copilot aumentino significativamente la velocità di coding,[4] i ricercatori si interrogano sugli effetti a lungo termine. Gli sviluppatori che si affidano quotidianamente a suggerimenti automatici mantengono la capacità di progettare e implementare soluzioni complesse autonomamente? La questione rimane empiricamente aperta.
A causa del deskilling l’ipotesi di tornare a gestire il procurement manualmente è, per il nostro manager, impraticabile, nel breve termine. Recuperare le competenze richiede mesi di retraining – tempo e risorse che l’organizzazione potrebbe non avere. Inoltre, il deskilling non è solo una conseguenza dell’automation bias, ma ne diventa anche la causa. Una volta perse le competenze, il manager è costretto a fidarsi del sistema. La fiducia, inizialmente una scelta, diventa una necessità e il ciclo si autoalimenta.
I costi sistemici della dipendenza
I fenomeni che abbiamo esaminato – fiducia mal calibrata, automation bias, perdita delle competenze – non sono tra loro indipendenti. Al contrario, si rinforzano in una spirale viziosa, a ogni giro più profonda. La fiducia inizialmente mal calibrata (troppo alta) porta all’automation bias poiché seguiamo il sistema anche quando i segnali d’allarme suggeriscono cautela. Il bias, a sua volta, incentiva a ridurre lo sforzo individuale – il giudizio, in questo articolo – mettendo in moto la perdita delle competenze. Il deskilling, quindi, rende la fiducia non più una scelta ma una necessità. Nel tempo, se non interviene una interruzione del circolo vizioso, il sistema diventa una stampella cognitiva di cui difficilmente riusciamo a fare a meno.
Il circolo vizioso rende l’organizzazione fragile in modo specifico e insidioso. Finché l’ambiente rimane simile ai dati storici su cui il sistema di agenti è stato addestrato, tutto funziona. Quando arriva uno shock che non assomiglia a nulla che abbia mai visto – un fornitore chiave che fallisce improvvisamente o una crisi geopolitica che blocca la supply chains – il sistema non riconosce di essere in territorio sconosciuto. Continua a produrre raccomandazioni con la stessa confidenza, che adesso sono però inadeguate o sbagliate.
Il manifestarsi di unknown unknowns apre la porta a un doppio fallimento. Da una parte, il sistema non sa gestire la crisi poiché è fuori dai suoi schemi. Dall’altra, le competenze umane, degradate da una delega eccessiva, non sanno intervenire efficacemente. Il rischio sistemico prende forma in lunghi tempi di risposta e in errori che si moltiplicano. Uno shock esogeno altrimenti gestibile con competenze intatte diventa una crisi sistemica con competenze degradate.
I dati aggregati suggeriscono l’ordine di grandezza del rischio. Il McKinsey Global Institute, nel suo rapporto “Risk, resilience, and rebalancing in global value chains” [5], stima che un’azienda possa aspettarsi delle interruzioni nella catena di approvvigionamento della durata di un mese o più ogni 3,7 anni in media. Nell’arco di un decennio, queste interruzioni valgono perdite equivalenti a quasi la metà dell’EBITDA di un anno.
Questi costi riflettono supply chains gestite con competenze umane intatte. Se il deskilling raddoppia il tempo necessario per rispondere e risolvere una crisi si allunga e i costi lievitano. Anche assumendo che solo il 10-15% delle grandi organizzazioni europee adottino sistemi di intelligenza artificiale basata su agenti per il procurement nei prossimi anni (probabilmente una stima conservativa data la tendenza degli investimenti in intelligenza artificiale) e considerando la dimensione economica dell’approvvigionamento che queste organizzazioni gestiscono collettivamente, il rischio sistemico che deriva dalla perdita delle competenze si misura potenzialmente in miliardi di euro.
Ma il circolo vizioso non è inevitabile. Può essere interrotto, a patto di progettare consapevolmente interventi che contrastino ciascuno dei tre meccanismi.
Contromisure
La soluzione non è rifiutare l’intelligenza artificiale basata su agenti. Come spesso è il caso, la questione è come integrare opportunamente la tecnologia nei processi decisionali in modo da preservare il giudizio umano. Le contromisure devono operare su tre livelli, ciascuno mirato a interrompere uno dei meccanismi del circolo vizioso.
Strumenti per la fiducia e la verifica
Per calibrare correttamente la fiducia, gli operatori devono conoscere le capacità reali del sistema. Una soluzione è che esso non nasconda l’incertezza ma la renda visibile. Per esempio, attraverso dashboard che mostrino non solo i successi (risparmi generati) ma anche gli errori. Senza feedback esplicito sugli errori, la fiducia deriva verso l’alto.
L’automation bias persiste perché scavalcarlo è cognitivamente costoso. La soluzione è rendere la verifica meno costosa e più sistematica. Una prima ipotesi è l’introduzione di protocolli di verifica obbligatoria che impongano controlli su alcune delle decisioni del sistema forzando, in tal modo, la vigilanza attiva dell’utente umano. Una seconda ipotesi è prevedere una escalation automatica su decisioni ad alto impatto attraverso la definizione di soglie esplicite. Per esempio, quando la concentrazione su un singolo fornitore supera il 30%, quando un fornitore è nuovo o ha storia breve, quando variabili critiche cambiano significativamente, il sistema deve automaticamente passare la decisione a un umano. Non per scelta, ma per una regola.
Un’altra ipotesi è imporre a qualcuno nell’organizzazione di agire come ‘l’avvocato del diavolo’. Per talune decisioni strategiche, si richiede un contraddittorio in cui una persona argomenti esplicitamente contro la raccomandazione del sistema. In tal modo si impone al gruppo di considerare controargomentazioni che altrimenti verrebbero ignorate.
Come mantenere le competenze umane
Infine, la perdita delle competenze. Poiché essa deriva dalla mancata pratica, la contromisura è semplice: continuare a praticare, anche quando il sistema potrebbe farlo al posto dell’uomo. Le strategie sono numerose e dipendono dalle specifiche competenze da mantenere. Si va dall’imporre una soglia minima di attività per tipologia di competenza, all’adottare gradualmente l’intelligenza artificiale basata su agenti monitorando l’effetto sulle competenze, alla formazione continua su scenari critici dove il sistema non può aiutare.
In ogni caso, l’adozione delle contromisure deve accelerare. Trattandosi di forme di governance dell’intelligenza artificiale basata su agenti, la sua progettazione e la sua implementazione nella struttura organizzativa sono più facili prima che dipendenza e deskilling siano già consolidati e la reversibilità costosa.
Bibliografia
[1] Lee, John D., Katrina A. See (2004). “Trust in automation: designing for appropriate reliance.” Human Factors. 46(1):50-80. doi: 10.1518/hfes.46.1.50_30392. PMID: 15151155
[2] Koppel Ross, Joshua P. Metlay, Abigail Cohen, et al. (2005). “Role of Computerized Physician Order Entry Systems in Facilitating Medication Errors.” JAMA. 293(10):1197-1203. doi:10.1001/jama.293.10.1197
[3] Madhavan, P., D. A. Wiegmann (2007). “Similarities and differences between human-human and human-automation trust: An integrative review.” Theoretical Issues in Ergonomics Science, 8(4), 277–301. https://doi.org/10.1080/14639220500337708
[4] Peng, S., Kalliamvakou, E., Cihon, P., & Demirer, M. (2023). The impact of AI on developer productivity: Evidence from GitHub Copilot. arXiv:2302.06590. https://arxiv.org/abs/2302.06590
[5] Manyika James, Sven Smit & Jonathan Woetzel (2020). Risk, resilience, and rebalancing in global value chains. McKinsey Global Institute.
