gli studi

Gen AI: così aumenta la produttività degli sviluppatori software



Indirizzo copiato

Tre esperimenti sul campo presso Microsoft, Accenture e una multinazionale manifatturiera analizzano l’effetto di GitHub Copilot sulla produttività di quasi 5.000 sviluppatori. I risultati mostrano un aumento del 26% nei task completati, con un impatto maggiore sui programmatori meno esperti. L’AI generativa dimostra un significativo potenziale di miglioramento dell’efficienza lavorativa

Pubblicato il 16 set 2024

Maurizio Carmignani

Founder & CEO – Management Consultant, Trainer & Startup Advisor



software

L’impatto dell’intelligenza artificiale generativa sulla produttività degli sviluppatori software viene analizzato nello studio intitolato “The Effects of Generative AI on High Skilled Work: Evidence from Three Field Experiments with Software Developers[1]“, condotto da Kevin Zheyuan Cui, Mert Demirer, Sonia Jaffe, Leon Musolff, Sida Peng e Tobias Salz (settembre 2024). Gli autori hanno condotto tre esperimenti sul campo randomizzati: gli sviluppatori vengono assegnati in modo casuale a gruppi che utilizzano GitHub Copilot, un assistente di codifica basato su AI e a gruppi di controllo senza accesso all’AI.

The Future of Software Engineering and Acquisition with Generative AI

Lo studio

Lo studio, realizzato presso Microsoft, Accenture e una multinazionale manifatturiera di elettronica, ha coinvolto quasi 5.000 sviluppatori. I risultati mostrano un aumento del 26% nel numero di task completati tra coloro che utilizzavano Copilot, con un impatto particolarmente positivo per i programmatori meno esperti, che hanno registrato guadagni di produttività superiori rispetto ai colleghi più senior. Economisti come Agrawal, Gans e Goldfarb (2019) e Furman e Seamans (2019) hanno previsto che l’AI generativa influenzerà profondamente l’organizzazione dell’attività economica. Eloundou et al. (2023) stimano che l’intelligenza artificiale sarà in grado di svolgere compiti che riguardano oltre l’80% delle professioni negli Stati Uniti, con un impatto maggiore su quelle che richiedono un alto livello di istruzione.

La capacità dell’AI di supportare lavori altamente qualificati

La capacità dell’AI di supportare lavori altamente qualificati, come diagnosi mediche, redazione di documenti legali o sviluppo di software, è considerata in grado di generare significativi guadagni di produttività (Baily, Brynjolfsson e Korinek 2023). Altri studiosi, come Acemoglu (2024)[2], sono meno ottimisti riguardo a questi benefici. Nonostante ci sia ancora incertezza sulla volontà delle aziende di adottare tali tecnologie e sugli investimenti complementari necessari (Bresnahan 2024; Brynjolfsson et al. 2021), alcune applicazioni dell’AI generativa sono già mature e integrate nei flussi di lavoro.

Il campo di indagine e lo strumento utilizzato nello studio

I tre esperimenti randomizzati sul campo sono stati condotti presso Microsoft, Accenture e una multinazionale anonima del settore manifatturiero di elettronica. In ciascuno di questi esperimenti, un gruppo di sviluppatori ha avuto accesso a Copilot, mentre un altro gruppo di controllo non lo ha utilizzato per un certo periodo di tempo. Gli esperimenti si sono svolti in periodi differenti: il primo presso Microsoft tra il 2022 e il 2023, il secondo presso Accenture nel 2023, e il terzo presso la multinazionale anonima tra il 2023 e il 2024.

Genesi e obiettivi di Copilot

Copilot è stato sviluppato da GitHub in collaborazione con OpenAI, utilizzando tecniche avanzate di machine learning e processing del linguaggio naturale. Lo strumento suggerisce completamenti di codice intelligenti e offre auto completamento all’interno degli ambienti di sviluppo software, basandosi su un vasto insieme di dati raccolti da repository pubblici su GitHub. L’obiettivo principale di Copilot è risparmiare tempo ai programmatori, migliorando potenzialmente la qualità del codice suggerendo soluzioni o pratiche che il programmatore potrebbe non conoscere. Chiaramente, come tutti gli strumenti basati su modelli di linguaggio, Copilot può commettere errori, la sua adozione richiede di conseguenza una revisione umana del codice.

Monitoraggio della produttività e risultati: cosa è emerso dallo studio

Per monitorare la produttività degli sviluppatori, sono stati utilizzati vari parametri, come il numero di “pull request” (modifiche proposte al codice), i “commit” (aggiornamenti al codice) e i tentativi di compilazione. L’analisi si è concentrata sul confronto tra i gruppi di controllo e quelli che utilizzavano Copilot, con l’obiettivo di quantificare i miglioramenti nella produttività dovuti all’uso di questo assistente AI.

L’assegnazione casuale dei partecipanti ai gruppi sperimentali e a quelli di controllo ha permesso di misurare in modo preciso l’impatto dell’uso di GitHub Copilot sulla produttività. I risultati sono stati ottenuti utilizzando un modello di regressione che ha tenuto conto delle differenze individuali tra gli sviluppatori e le variazioni temporali. I risultati degli esperimenti sull’adozione di GitHub Copilot hanno evidentziato un aumento significativo della produttività tra gli sviluppatori che hanno utilizzato lo strumento AI. Il numero di task completati settimanalmente è aumentato in media del 26,08% rispetto al gruppo di controllo.

Implicazioni dei risultati

Oltre ai task completati, si è registrato un incremento del 13,55% nel numero di aggiornamenti al codice (“commit“) e del 38,38% nei tentativi di compilazione.

Questi dati indicano che Copilot non solo accelera il processo di sviluppo del codice, ma favorisce anche l’esecuzione di operazioni più complesse, come la compilazione del software. I benefici di Copilot sono stati più pronunciati tra i programmatori meno esperti o con minore anzianità nelle aziende partecipanti. I nuovi assunti e i lavoratori in posizioni junior hanno registrato i maggiori guadagni di produttività, con tassi di adozione più elevati e un utilizzo più continuativo dello strumento. Al contrario, gli sviluppatori più senior hanno adottato Copilot in misura minore e mostrato aumenti di produttività più modesti. Nel corso degli esperimenti è emersa una variabilità nei risultati tra i partecipanti, anche a causa della successiva disponibilità di Copilot per il gruppo di controllo, che ha ridotto il divario tra i due gruppi. Nonostante queste dinamiche, i risultati confermano che l’intelligenza artificiale generativa ha avuto un impatto positivo significativo sulla produttività degli sviluppatori software.

Conclusioni

L’analisi degli esperimenti sull’uso di GitHub Copilot dimostra chiaramente l’impatto positivo che l’intelligenza artificiale generativa può avere sulla produttività degli sviluppatori software. I risultati indicano un incremento medio del 26,08% nel numero di task completati, con dati raccolti in ambienti lavorativi reali e su quasi 5.000 sviluppatori di tre grandi aziende. L’effetto maggiore è stato osservato tra i programmatori meno esperti, mentre quelli più senior hanno mostrato miglioramenti meno marcati. Questi risultati evidenziano il potenziale delle tecnologie AI per migliorare l’efficienza nel lavoro ad alta specializzazione, offrendo supporto concreto soprattutto ai lavoratori con minore esperienza. Le implicazioni di questo studio sono significative, non solo per il settore dello sviluppo software, ma anche per altre professioni ad alta qualificazione, aprendo nuove prospettive di ricerca sugli effetti della generative AI in diversi contesti lavorativi.


[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4945566

[2] https://www.agendadigitale.eu/industry-4-0/limpatto-dellia-su-produttivita-e-pil-un-futuro-di-benessere-o-nuove-disparita/

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4