Un sistema di intelligenza artificiale può diventare più accurato mentre l’accordo fra i suoi agenti diventa meno attendibile. È il risultato che emerge da una ricerca condotta con un team internazionale sui modelli linguistici che discutono fra loro [3]. Il punto riguarda il valore che attribuiamo a quel confronto: se più agenti arrivano alla stessa conclusione, abbiamo una ragione in più per fidarci?
Il rischio di una risposta sbagliata condivisa è già noto. La questione meno evidente è che un miglioramento delle prestazioni complessive può nascondere un peggioramento proprio delle risposte sostenute da una maggioranza. Per chi usa il consenso come criterio di affidabilità, le due misure vanno tenute distinte.
Un esempio ipotetico aiuta a capire. Tre agenti controllano la scheda tecnica di un componente destinato a funzionare ad alte temperature. Il primo confonde la temperatura di conservazione con quella di funzionamento; il secondo, dopo averne letto la spiegazione, la adotta. Due pareri favorevoli sembrano due controlli, ma derivano dalla stessa svista.
Indice degli argomenti
Il consenso nei sistemi multiagente e il confronto tra AI
Nei sistemi multiagente, più componenti software basati su modelli linguistici lavorano a un problema. Possono usare lo stesso modello oppure modelli differenti, ricevere incarichi distinti o cercare ciascuno una soluzione alla medesima domanda.
La nostra ricerca riguarda i sistemi in cui gli agenti formulano una risposta, leggono le soluzioni altrui e possono rivedere la propria posizione. È una specifica forma di collaborazione, diversa da quella in cui ciascun agente svolge una fase separata del lavoro.
Ci sono buone ragioni per sperimentare questo metodo. In un lavoro presentato a ICML nel 2024, Yilun Du e colleghi hanno mostrato che il dibattito fra modelli può migliorare il ragionamento e la correttezza delle risposte nei compiti esaminati [1]. Anche generare più percorsi di ragionamento e aggregarne le risposte, senza farli interagire, può essere utile: è l’approccio noto come self-consistency [2].
Produrre più tentativi e farli discutere sono due scelte diverse. Un miglioramento può dipendere dalla disponibilità di più risposte fra cui scegliere, dallo scambio di informazioni o da entrambi. Il risultato finale, da solo, non permette di distinguere questi contributi.
Figura 1. Una maggioranza può essere già presente nelle risposte iniziali oppure formarsi dopo lo scambio. Le lettere A, B e C indicano risposte possibili, senza specificare quali siano corrette. Lo schema illustra il meccanismo e non rappresenta dati sperimentali.
Cosa rivela l’esperimento sul consenso tra agenti AI
Nel nostro lavoro, ancora in valutazione presso una conferenza internazionale, abbiamo studiato quanto l’accordo aiuti a riconoscere una risposta corretta dopo che gli agenti hanno discusso fra loro [3].
L’esperimento centrale riguarda 300 domande fattuali a risposta breve, descritte nei metodi del manoscritto come quesiti di tipo SimpleQA. Tre agenti basati su modelli differenti rispondono inizialmente senza confrontarsi. La selezione esclude i casi di unanimità e quelli in cui tutti e tre rispondono correttamente: concentra quindi l’analisi su situazioni di disaccordo, senza rappresentare le richieste quotidiane a un’AI.
La correttezza delle risposte è stata valutata con un giudice automatico, confrontato con valutazioni umane su un sottoinsieme del campione. Nelle repliche con soluzioni prestabilite sono stati usati controlli automatici delle risposte. Anche il metodo di valutazione va quindi considerato nell’interpretazione dei risultati.
Le maggioranze false prima e dopo lo scambio
Abbiamo confrontato le maggioranze iniziali con quelle emerse dopo quattro turni di scambio. Considerando gli accordi di due agenti su tre, con il terzo in disaccordo, ed escludendo le astensioni, la quota di risposte false passa dal 42,5% al 79,6%: rispettivamente 31 casi su 73 e 86 su 108.
Se includiamo anche gli accordi in cui due agenti si astengono, classificati come non falsi, le percentuali sono 23,1% e 74,8%: 31 casi su 134 e 86 su 115. In questo secondo conteggio, ciò che non è falso comprende anche le astensioni e non coincide quindi con le risposte corrette.
Le domande sulle quali si forma una maggioranza prima e dopo la discussione non sono necessariamente le stesse. Il manoscritto affianca perciò a queste percentuali analisi che tengono conto della corrispondenza fra i quesiti. I valori descrivono un preciso tipo di accordo nel campione selezionato, non il tasso di errore delle AI in generale.
Figura 2. Risposte false fra le maggioranze di due agenti su tre, con il terzo in disaccordo, nel campione di 300 domande. I conteggi sulle barre riportano i casi falsi sul totale delle maggioranze considerate; le linee indicano gli intervalli di confidenza al 95% di Wilson. Le maggioranze possono riguardare domande diverse prima e dopo lo scambio. Elaborazione dai dati del manoscritto [3].
Discussione e revisione individuale
Per distinguere l’effetto dello scambio da quello delle ulteriori occasioni per rispondere, abbiamo anche confrontato la discussione con una revisione individuale. Sui quesiti difficili del test di conoscenze MMLU, leggere gli altri ha prodotto più risposte sbagliate condivise per domanda. Fra i quesiti con una maggioranza in entrambe le condizioni, invece, non è emersa una differenza nella quota di errori. Questo controllo individua un effetto sulla formazione degli accordi sbagliati; l’assenza di una differenza rilevata nell’altro confronto non dimostra equivalenza.
Accuratezza e affidabilità del consenso nei sistemi multiagente
L’apparente contraddizione si chiarisce guardando a ciò che misuriamo.
L’accuratezza indica quante risposte corrette produce il sistema sull’insieme dei quesiti. Il valore del consenso riguarda invece quanto l’accordo ci aiuti a riconoscere una risposta giusta. Nel lavoro chiamiamo questa seconda proprietà “diagnosticità” dell’accordo.
Su alcune domande, un agente può fornire un’informazione utile e correggere gli altri. Su altre, nessuno sa abbastanza per rispondere, ma il gruppo converge ugualmente su una soluzione plausibile e falsa. Le correzioni migliorano il risultato complessivo; i nuovi accordi sbagliati rendono meno rassicurante il fatto che più agenti dicano la stessa cosa.
Nel campione centrale, l’accuratezza complessiva cresce dal 13,7% al 34,7%, secondo la regola usata per aggregare le risposte degli agenti. Questi valori riguardano tutte le 300 domande. Il livello iniziale, particolarmente basso, riflette la selezione di quesiti difficili per quel gruppo di modelli.
Il confronto con la self-consistency
Abbiamo inoltre confrontato la discussione con l’aggregazione di risposte indipendenti. A parità di 15 risposte generate per domanda, la self-consistency raggiunge il 31,0% di accuratezza, contro il 34,7% della discussione. Le stime hanno intervalli di confidenza sovrapposti: il vantaggio numerico va interpretato con cautela.
La quota di maggioranze false, escluse le astensioni, è però del 46,2% con la self-consistency e del 79,6% con la discussione [3]. Il numero di risposte generate è uguale, non il costo: durante il confronto gli agenti devono elaborare anche i messaggi altrui.
Un’etichetta come “risposta confermata da più agenti” richiede dunque una valutazione propria. Il fatto che il sistema risponda meglio in media non basta a giustificarla.
Come nasce il falso consenso tra agenti artificiali
Negli esperimenti in cui abbiamo introdotto deliberatamente alcune risposte nel confronto, un’affermazione plausibile ed espressa con sicurezza può orientare il gruppo. Se è corretta, può aiutare; se è sbagliata, può diffondere l’errore. Il tono sicuro non distingue i due casi [3].
Non occorre attribuire alle AI un desiderio di conformarsi per spiegare questa dinamica. Le risposte degli altri entrano nel testo che il modello usa per generare la propria risposta successiva. Possono arricchirla con informazioni utili oppure influenzarla senza offrire alcuna nuova prova.
Un’analogia viene dagli studi sui gruppi umani. Jan Lorenz e colleghi hanno mostrato che conoscere le stime degli altri può ridurre la varietà delle risposte e aumentare la sicurezza dei partecipanti senza migliorare l’accuratezza [4]. È un confronto utile, purché non si confondano i meccanismi psicologici delle persone con il funzionamento dei modelli.
Anche quando le AI rispondono separatamente, del resto, l’indipendenza non è assoluta. Nel nostro esperimento significa che ciascuna formula la risposta senza leggere quelle altrui. Non significa che i loro errori siano statisticamente indipendenti: modelli differenti possono condividere informazioni e limiti simili. Aggiungere agenti non garantisce di aggiungere fonti di conoscenza diverse.
Il consenso nei sistemi multiagente in un dibattito aperto
Altri studi stanno esaminando il rapporto fra collaborazione e affidabilità. In un lavoro presentato a NeurIPS nel 2025, Hyeong Kyu Choi e colleghi mostrano che, nei loro esperimenti, gran parte dei miglioramenti attribuiti al dibattito è spiegata dal voto sulle risposte [5]. Lars Benedikt Kaesberg e colleghi confrontano diversi modi di arrivare a una decisione e osservano effetti che variano con il compito: aumentare i turni di discussione prima del voto può persino peggiorare le prestazioni [6].
Si stanno esplorando anche metodi che non richiedono un accordo finale. Free-MAD, pubblicato nei Findings di ACL 2026, propone di valutare come cambiano le risposte durante il dibattito e di limitare l’influenza della maggioranza [7]. Questi lavori invitano a esaminare quale parte del processo contribuisca al risultato, anziché attribuire ogni miglioramento alla discussione.
Protocolli, repliche e limiti dei risultati
Il nostro contributo riguarda ciò che l’accordo permette di dedurre sulla correttezza. Il confronto centrale è stato costruito a posteriori; sono seguite repliche con protocolli definiti prima di raccogliere i nuovi risultati. Nel protocollo principale tutti gli agenti leggono le risposte di tutti gli altri. Le prove riguardano soprattutto domande in inglese con risposte verificabili: non consentono di estendere le percentuali alle valutazioni soggettive o a qualsiasi ragionamento specialistico.
Le repliche precisano anche i limiti del fenomeno. Nei problemi aritmetici di GSM8K, un gruppo di modelli di capacità intermedia non mostra un peggioramento statisticamente significativo dell’affidabilità dell’accordo. La difficoltà del compito rispetto alle capacità degli agenti sembra dunque contare. La capacità di verificare le informazioni rimane però una spiegazione proposta sulla base dei risultati, non una proprietà misurata direttamente.
I rischi del consenso AI per imprese e pubblica amministrazione
In un’impresa o in una pubblica amministrazione, una risposta condivisa potrebbe essere usata per considerare concluso un controllo. Il modo in cui viene presentata ha quindi conseguenze concrete: l’utente può risalire alle prove che sostengono la conclusione, oppure vede soltanto quanti agenti la approvano?
I nomi attribuiti agli agenti possono rafforzare l’impressione che sia avvenuta una verifica specialistica. Chiamarli “analista”, “revisore” o “esperto tecnico” descrive l’incarico assegnato dal programma, ma non dimostra che il controllo sia stato efficace. Per giudicare il risultato servono le fonti consultate, i punti rimasti controversi e le verifiche effettivamente compiute.
Sistemi medici e controllo umano
Una ricerca distinta, MedAgentAudit, affronta un problema vicino nei sistemi multiagente medici [8]. Documenta la propagazione di osservazioni prive di supporto e la mancata gestione delle contraddizioni. Lo studio, disponibile come preprint aggiornato nel 2026, mostra l’utilità di esaminare anche il percorso che porta alla risposta. Il contesto è diverso: le percentuali del nostro esperimento non descrivono il rischio nella pratica clinica.
Lo stesso vale per il controllo umano. Una persona chiamata ad approvare una conclusione senza poter consultare i documenti o conoscere i dubbi emersi ha pochi strumenti per riconoscere un falso consenso. Un disaccordo lasciato visibile può aiutarla più di una sintesi che faccia apparire risolte tutte le incertezze.
Come verificare il consenso nei sistemi multiagente
Una prima indicazione è conservare le risposte iniziali e le successive revisioni. Quando un agente cambia idea, quale nuova informazione verificabile o quale passaggio di ragionamento controllato giustifica il cambiamento? Per rispondere servono tracce delle operazioni compiute, come i documenti effettivamente recuperati e gli esiti dei calcoli. La sola spiegazione generata dall’agente non prova che il controllo sia avvenuto.
Documenti esterni, RAG e prove controllabili
Il recupero di documenti esterni può offrire materiale da verificare. È il principio della retrieval-augmented generation, o RAG, che integra quei documenti nella generazione della risposta [9]. Occorre poi controllare che contengano il dato cercato e sostengano l’affermazione a cui sono associati.
Nei nostri esperimenti, fornire informazioni corrette non protegge sempre i gruppi meno capaci. In alcune condizioni, passaggi di calcolo controllabili o verifiche più strutturate riducono il falso consenso, mentre una semplice affermazione autorevole non ottiene lo stesso risultato [3]. La disponibilità di una prova e la capacità di valutarla restano due problemi distinti.
Nell’esempio del componente, il controllo deve risalire al punto della scheda che specifica la temperatura di funzionamento, con le sue condizioni ed eccezioni. Per un calcolo, si può eseguire l’operazione con uno strumento e conservarne l’esito. Sono indicazioni da collaudare sul compito concreto, prevedendo anche l’astensione e il ricorso a una revisione competente.
Metriche, costi e soglie di fiducia
La valutazione dovrebbe riportare separatamente l’accuratezza complessiva, la frequenza degli accordi sbagliati e la quota di domande lasciate senza risposta. Dovrebbe inoltre confrontare tempi e costi con procedure più semplici, come l’aggregazione di risposte formulate senza scambio. Solo così si può capire quale vantaggio aggiunga la discussione e a quali condizioni.
Quando il consenso serve a decidere quanta fiducia accordare a una risposta, diventa parte del sistema da valutare. Conta la sua capacità di distinguere le conclusioni fondate da quelle sbagliate. È questa capacità, oltre all’accuratezza media, che occorre verificare prima di affidargli un ruolo nelle decisioni.
Fonti e crediti sulla ricerca sul consenso tra agenti AI
Si ringraziano i collaboratori ed amici del gruppo di ricerca M.O.D.A.L. (Mathematical MOdelling and Data AnaLisys research group – https://www.labdma.unina.it) del Dipartimento di Matematica e Applicazioni “Renato Caccioppoli” – Università degli Studi di Napoli Federico II per le stimolanti discussioni sull’argomento trattato.
Riferimenti sul consenso e il dibattito multiagente
[1] Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., Mordatch, I. (2024). Improving Factuality and Reasoning in Language Models through Multiagent Debate. Proceedings of the 41st International Conference on Machine Learning, PMLR 235, 11733–11763.
https://proceedings.mlr.press/v235/du24e.html
[2] Wang, X., Wei, J., Schuurmans, D., Le, Q. V., Chi, E. H., Narang, S., Chowdhery, A., Zhou, D. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. International Conference on Learning Representations (ICLR 2023).
https://openreview.net/forum?id=1PL1NIMMrw
[3] Interaction Destroys the Diagnosticity of Agreement Where Truth Is Scarce (2026). Manoscritto di ricerca dell’autore e colleghi internazionali, in versione anonimizzata, sottomesso a ICLR 2027 e in valutazione. Fonte dei risultati originali e della figura 2. Manoscritto non pubblicato.
[4] Lorenz, J., Rauhut, H., Schweitzer, F., Helbing, D. (2011). How social influence can undermine the wisdom of crowd effect. Proceedings of the National Academy of Sciences, 108(22), 9020–9025. DOI: 10.1073/pnas.1008636108.
https://www.sg.ethz.ch/publications/2011/lorenz2011how-social-influence/
[5] Choi, H. K., Zhu, X., Li, S. (2025). Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models? Advances in Neural Information Processing Systems, 38, 101732–101764. DOI: 10.52202/085713-3405.
https://doi.org/10.52202/085713-3405
[6] Kaesberg, L. B., Becker, J., Wahle, J. P., Ruas, T., Gipp, B. (2025). Voting or Consensus? Decision-Making in Multi-Agent Debate. Findings of the Association for Computational Linguistics: ACL 2025, 11640–11671. DOI: 10.18653/v1/2025.findings-acl.606.
https://aclanthology.org/2025.findings-acl.606/
[7] Cui, Y., Fu, H., Zhang, H., Wang, L., Zuo, C. (2026). Free-MAD: Consensus-Free Multi-Agent Debate. Findings of the Association for Computational Linguistics: ACL 2026, 31977–31997. DOI: 10.18653/v1/2026.findings-acl.1600.
https://aclanthology.org/2026.findings-acl.1600/
[8] Zhu, Y., Gu, L., Wang, Z., Sang, H., Sui, D., Tang, W., Mi, L., Wang, Y., Gao, J., Yao, L., Fu, T., Harrison, E., Yu, L., Ma, L. (2025; versione aggiornata 2026). Auditing medical multi-agent AI reveals risks of false consensus. Preprint, arXiv:2510.10185, versione 3 del 27 maggio 2026.
https://arxiv.org/abs/2510.10185v3
[9] Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems, 33, 9459–9474.
https://proceedings.nips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html
Partecipa alla community