Dopo l’entusiasmo iniziale, caratterizzato da sperimentazioni, proof of concept e primi progetti pilota, le imprese stanno progressivamente entrando in una nuova fase: quella dell’industrializzazione dell’AI. L’obiettivo non è più dimostrare che un chatbot funziona o che un assistente virtuale è in grado di generare un testo convincente, ma integrare l‘intelligenza artificiale nei processi aziendali affinché produca risultati misurabili, affidabili e sostenibili nel tempo.
Questo cambiamento di prospettiva porta con sé una domanda che fino a poco tempo fa rimaneva sullo sfondo: quanto costa realmente utilizzare l’AI su larga scala?
Non si tratta soltanto degli investimenti necessari per sviluppare nuovi casi d’uso o integrare gli algoritmi nei sistemi aziendali. L’intelligenza artificiale è oggi una delle voci di spesa che cresce più rapidamente all’interno dei budget IT e, con l’aumentare degli AI agent e delle applicazioni basate sui Large Language Model (LLM), emerge una componente di costo molto meno evidente, ma destinata ad assumere un peso sempre maggiore: il consumo dei token.
Il problema, tuttavia, non è che le aziende stiano investendo sempre di più nell’AI. È che, molto spesso, stanno spendendo più di quanto sarebbe realmente necessario. La ragione è semplice: nella corsa ad adottare l’intelligenza artificiale, gli LLM vengono frequentemente trattati come strumenti universali, ai quali demandare qualsiasi tipo di decisione. È un approccio comprensibile, considerando le straordinarie capacità dimostrate dai modelli linguistici negli ultimi anni, ma non sempre rappresenta la soluzione più efficace né quella economicamente più sostenibile.
Per comprenderne il motivo occorre fare una distinzione fondamentale, spesso trascurata quando si parla di Enterprise AI: quella tra decisioni probabilistiche e decisioni deterministiche.
Indice degli argomenti
Quando un LLM serve davvero (e quando no)
I Large Language Model sono motori di ragionamento probabilistico. La loro forza consiste nel saper interpretare informazioni ambigue, comprendere il linguaggio naturale, sintetizzare contenuti, formulare ipotesi e individuare la risposta più probabile in presenza di dati incompleti. È proprio questa capacità inferenziale che li rende strumenti straordinariamente efficaci per attività come la classificazione di documenti, l’analisi di testi, il supporto alla ricerca di informazioni o la comprensione delle richieste formulate dagli utenti.
Immaginiamo, ad esempio, un servizio di assistenza clienti. Un utente invia una e-mail spiegando di aver riscontrato un problema con un acquisto. La stessa richiesta potrebbe essere formulata in decine di modi differenti: potrebbe parlare di un pagamento errato, di un ordine duplicato, di un addebito non riconosciuto oppure semplicemente scrivere “credo ci sia qualcosa che non torna”. In questo scenario il ricorso a un LLM rappresenta la scelta migliore, perché il modello è in grado di interpretare il significato della richiesta, comprenderne l’intento e classificare correttamente il ticket.
Lo scenario cambia completamente qualche istante dopo.
Supponiamo che il cliente sostenga di essere stato addebitato due volte per lo stesso acquisto. Una volta identificato il problema, il sistema deve decidere se autorizzare automaticamente il rimborso. A questo punto la domanda non è più “che cosa intende il cliente?”, ma “le condizioni previste dalla policy aziendale sono soddisfatte?”. Il pagamento risulta realmente duplicato? L’importo rientra nella soglia prevista? Sono necessari ulteriori controlli? Tutte queste informazioni sono già presenti nei sistemi aziendali e la decisione dipende dall’applicazione di regole di business ben definite.
In questo caso chiedere a un Large Language Model quale sia la decisione migliore non aggiunge valore. Significa utilizzare uno strumento progettato per ragionare nell’incertezza in un contesto in cui l’incertezza non esiste. Ancora più importante, significa introdurre un costo e una variabilità che potrebbero essere evitati.
È proprio qui che nasce quella che possiamo definire una vera e propria “LLM tax”, una tassa invisibile che molte organizzazioni stanno già pagando senza esserne pienamente consapevoli.
La “LLM tax”: il costo invisibile dell’Enterprise AI
Un’organizzazione può gestire ogni giorno migliaia o milioni di decisioni operative. Se una parte significativa di queste decisioni coinvolge inutilmente un LLM, anche una spesa apparentemente minima finisce per trasformarsi in un costo rilevante. Non è un caso che McKinsey stimi come un chatbot aziendale relativamente sofisticato possa arrivare a generare fino a 500.000 dollari all’anno di costi legati esclusivamente all’inferenza dei modelli, senza considerare le spese di integrazione, manutenzione e sviluppo.
Naturalmente il problema non riguarda il valore dei Large Language Model, che rappresentano una delle innovazioni più significative degli ultimi anni. Il punto è un altro: utilizzare un LLM quando non è necessario significa pagare per una capacità di ragionamento che il sistema, in quello specifico momento, non deve nemmeno esercitare.
Ma la questione non è soltanto economica. Delegare a un modello probabilistico una decisione che potrebbe essere presa applicando dati strutturati e regole già definite significa anche introdurre un elemento di variabilità in un processo che dovrebbe invece essere prevedibile, verificabile e replicabile. In altre parole, il tema della “LLM tax” riguarda tanto il controllo dei costi quanto la governance dell’intelligenza artificiale.
Per evitare questa inefficienza non è necessario rinunciare agli LLM. È necessario imparare a utilizzarli nel modo corretto.
Il contesto operativo è il vero vantaggio competitivo
Gli AI agent hanno bisogno di conoscere il contesto operativo nel quale agiscono. Un modello linguistico sa, in termini generali, che cosa sia una fattura, come funzioni una supply chain o quali siano le fasi di un processo di approvvigionamento. Quello che non conosce è il modo specifico in cui una determinata organizzazione gestisce eccezioni, autorizzazioni, priorità, livelli di servizio o procedure interne.
È proprio questa conoscenza contestuale che permette a un agente intelligente di capire quando sia opportuno ricorrere a un LLM e quando, invece, sia sufficiente applicare una regola di business già esistente.
Oltre i modelli: il futuro dell’Enterprise AI è nel contesto operativo
Il valore dell’Enterprise AI non nasce quindi dall’utilizzare il modello più potente in qualsiasi circostanza, ma dalla capacità di orchestrare modelli, dati e processi scegliendo, di volta in volta, lo strumento più adatto.
Questa riflessione assume un’importanza ancora maggiore se si guarda all’evoluzione dei sistemi multi-agent. Oggi siamo abituati a immaginare un singolo agente che interagisce con un utente. Domani assisteremo sempre più spesso a ecosistemi nei quali saranno gli agenti a collaborare tra loro: uno interpreterà una richiesta, un secondo raccoglierà informazioni dai sistemi aziendali, un terzo verificherà la conformità rispetto alle policy interne, un quarto produrrà una raccomandazione e un quinto eseguirà automaticamente l’azione.
Si tratta di un’evoluzione destinata ad aumentare significativamente l’autonomia dell’intelligenza artificiale, ma anche il numero di interazioni tra agenti e modelli linguistici. Se ogni passaggio comporta una nuova chiamata a un LLM, il consumo di token cresce rapidamente e la “LLM tax” rischia di aumentare molto più velocemente dell’adozione stessa dell’AI.
Per questo motivo la prossima sfida dell’Enterprise AI non riguarderà soltanto lo sviluppo di modelli sempre più performanti, ma la progettazione di architetture capaci di utilizzare ogni tecnologia nel contesto corretto. La differenza competitiva non sarà determinata esclusivamente dalla qualità degli algoritmi, ma dalla capacità di governarne il funzionamento, limitando le chiamate inutili ai modelli linguistici, valorizzando il patrimonio informativo già presente nelle organizzazioni e costruendo processi decisionali più efficienti, affidabili e sostenibili.
Negli ultimi anni il dibattito sull’intelligenza artificiale si è concentrato soprattutto sulla corsa ai modelli. Nei prossimi anni, invece, la vera sfida sarà costruire AI capaci di comprendere il contesto operativo in cui agiscono. Perché un modello può generare una risposta, ma è il contesto che gli permette di prendere la decisione giusta. Ed è proprio nella capacità di trasformare dati, processi e regole di business in conoscenza operativa che si giocherà il futuro dell’Enterprise AI.
Partecipa alla community