scenari

Guerra e intelligenza artificiale: ecco perché servono limiti e regole

La seconda generazione di sistemi militari basati sull’intelligenza artificiale è ancora in uno stadio preliminare, ma sta già portando a un cambiamento radicale nel millenario rapporto tra uomo e guerra. Vediamo scenari di battaglia possibili con i sistemi già disponibili, i limiti e le regole necessari

30 Ott 2019
Ernesto Damiani

docente di Reti di calcolatori all’Università Statale di Milano, presidente del Consorzio Interuniversitario Nazionale per l’Informatica (CINI)


Gli sviluppi dell’intelligenza artificiale (IA) hanno già avuto un forte impatto sulle tecnologie militari. Nei prodotti ICT oggi destinati al mondo militare non mancano esempi di sistemi IA in grado di estrarre elementi chiave dai flussi informativi provenienti dal campo di battaglia e convogliarli automaticamente verso punti di decisione locale e remota.

Questi sistemi sono basati sull’idea del whiteboard, in cui una periferia di sensori acquisisce tutte le informazioni che può (ad esempio, landmark fissi o mobili e loro posizione sul terreno) e un sistema intelligente le personalizza e confeziona per l’uso locale del comandante di plotone così come per quello di centri di decisione remoti a livello di brigata o divisione.

La prima generazione: l’intelligenza artificiale nell’armamento

La prima generazione di sistemi IA, accoppiati a sistemi di videoconferenza criptati per le consultazioni tra umani, ha già dimostrato il suo potenziale in diverse operazioni sul campo a partire dalla seconda Guerra del Golfo, integrando verticalmente il supporto alle decisioni tattiche locali (ad esempio, la scelta di quale edificio di un compound ispezionare/occupare per primo) con quelle di settore (ad esempio, a quale ispezione allocare il supporto di droni o elicotteri) .

In seguito, gli stessi soldati sono diventati oggetto, oltre che soggetto, di questa rilevazione automatica di informazioni multimediali dal campo di battaglia. La foto rivelatrice che mostra i Q-code integrati nelle uniformi dei militari durante la recente parata per i 70 anni della Repubblica Popolare Cinese dimostra il livello di adozione di queste tecnologie. Per quanto il loro impatto sia elevato, però, i sistemi di prima generazione non si possono considerare rivoluzionari: hanno cambiato profondamente la velocità con cui le decisioni operative vengono prese e – forse – la qualità dei loro risultati, ma non la loro natura. Il processo decisionale militare resta centrato sull’uomo e risale una catena di comando per prendere decisioni che riguardano un certo ambito sulla base delle informazioni acquisite in un altro. Semplificando, sarà un comandante di compagnia a prendere decisioni sul dispiegamento di un plotone sulla base dei flussi video provenienti da un altro plotone sul campo.

La seconda generazione: un cambiamento radicale nel rapporto tra uomo e guerra

La seconda generazione di sistemi militari basati sull’intelligenza artificiale è ancora in uno stadio preliminare, ma sta già portando a un cambiamento radicale nel millenario rapporto tra uomo e guerra. L’intelligenza artificiale rende infatti possibile concepire un “campo di battaglia” composto da geospazio (la terra), spazio (i rilevatori satellitari e aerei) e cyberspazio dove (i) l’uomo può non essere coinvolto nelle decisioni tattiche, e (ii) le informazioni acquisite in un ambito dell’ecosistema sono usate per prendere decisioni automatiche (i.e., senza risalire una catena di comando) in qualsiasi altro ambito. In altri termini, un sistema d’arma AI usa i flussi informativi messi a disposizione dagli strumenti di prima generazione e dai suoi sensori integrati per alimentare l’inferenza di un modello Machine Learning che può selezionare e impegnare obiettivi umani e non umani senza ulteriori interventi da parte di un operatore umano.

Il salto di qualità tra prima e seconda generazione dei sistemi d’arma AI può essere meglio illustrato con un esempio basato su sottosistemi già esistenti. Consideriamo un pattugliatore senza equipaggio che, incontrando una nave da carico che batte bandiera di un Paese sotto embargo, riceva da un sistema AI di prima generazione la segnalazione di un trans-shipment avvenuto in violazione dell’embargo stesso.

Più in dettaglio: il modello di Machine Learning del sistema di prima generazione, un Deep Learner addestrato su esempi e implementato come un software remoto in cloud, esamina immagini satellitari a media risoluzione che rivelano la stazza della nave da carico (in realtà, gli attuali modelli ML per la rilevazione del trans-shipment non lavorano direttamente sulle immagini, ma su modelli 3D costruiti a partire dalle immagini satellitari) e classifica come “altamente probabile” che l’attuale carico della nave provenga da un cargo di un Paese terzo in navigazione nelle stesse acque, la cui rotta stimata è compatibile con il trasbordo e il cui manifesto di carico (consultato in remoto) menziona merci soggette all’embargo.

Il modello per la rilevazione del trans-shipment ha avuto un addestramento avversariale che tiene conto di perturbazioni e dissimulazioni, e quindi la classificazione avviene anche se il capitano del cargo da cui proviene il carico illegale ha prontamente imbarcato acqua nei serbatoi per dissimulare l’alleggerimento.

Sulla base dell’accuratezza della classificazione, della stima dei danni collaterali (le altre navi e battelli in navigazione nell’area) e della distanza della nave intercettata dalle acque territoriali del suo Paese, l’intelligenza locale del pattugliatore (un modello ML non supervisionato progettato per massimizzare una funzione obiettivo, realizzato in software e messo in opera su un microcontrollore di bordo) può scegliere l’azione da richiedere: far partire un drone ricognitore che aggiunga riprese ravvicinate alla rilevazione satellitare del profilo di carico, attivare un cyber-attacco di GPS spoofing per portare la nave bersaglio fuori rotta, o addirittura lanciare un attacco missilistico con i mezzi di bordo o richiederne uno da parte di droni o aerei.

WHITEPAPER
Cloud: cogli tutte le opportunità! Meno costi, senza skill ad hoc e con dati in Italia
Cloud
Cloud Application

Anche se questo scenario può sembrare fantascientifico, per valutarne la credibilità agli addetti ai lavori basta guardare i sottosistemi già disponibili: veicoli navali, aerei e terrestri senza pilota, produttori automatici di stime dei danni collaterali, sistemi missilistici “fire and forget” e sistemi per automatizzare lo spiegamento di droni di sorveglianza sono tutti prodotti già offerti nelle fiere di settore.

L’uso di sistemi IA autonomi offre chiare opportunità di raggiungere maggiore accuratezza e miglior coordinamento sul campo di battaglia, anche se è meno certo che possa ridurre i costi operativi dei sistemi d’arma. La letteratura parla di un uso più efficiente delle risorse umane, ma rimangono da valutare complesse questioni legali, economiche, sociali e di sicurezza.

La cyber security gioca un ruolo importante: i modelli ML non sono altro che software o firmware, e non sono immuni da manipolazione del codice. Anche quando sono resi disponibili in hardware, possono contenere errori di implementazione, e non sfuggono all’inquinamento degli esempi di addestramento. Gli scenari composti da parecchi sottosistemi connessi come il nostro esempio aumentano il rischio di manipolazioni dei modelli in fase di addestramento o di produzione.

C’è anche il rischio che si scelga di combattere una “guerra tra IA” usando modelli generativi per creare “anti-pattern” percettivi in grado di ingannare i modelli ML del nemico.

Responsabilità e regolazione

In uno scenario militare tradizionale, la responsabilità degli ordini impartiti segue la catena di comando. Nello scenario che abbiamo appena visto, i modelli ML non “ordinano” nulla ma generano conclusioni che sono poi le premesse per altri modelli. Questo può rendere difficile attribuire la responsabilità delle decisioni, ad esempio ai fini della verifica del rispetto delle convenzioni internazionali. Un elemento critico è la capacità dei modelli ML di evolvere il proprio comportamento sulla base dei risultati. Chi progetta un sistema di reinforcement learning come quello che guida il pattugliatore del nostro esempio può definire e determinare il suo comportamento futuro solo indirettamente, definendo le penalità o gli incentivi che derivano dalle decisioni del sistema. Non è facile stabilire a chi spetta la responsabilità degli eventuali errori di progettazione degli schemi di incentivi (o, nel caso di sistemi supervisionati, dell’errata scelta o inquinamento degli esempi). Questa discussione ci porta a una domanda fondamentale: vista la difficoltà di attribuire le responsabilità in presenza dell’IA, non sarebbe meglio limitare o regolare fin da subito gli ambiti potrà operare?

I tempi dell’adozione

Paradossalmente, il tempo necessario per elaborare una risposta a questa domanda potrebbe venirci da un fattore inatteso: la riluttanza degli ambienti militari ad accettare l’armamento dell’IA su larga scala. La Cina ha pubblicato fin dal luglio 2017 il piano di sviluppo della nuova generazione di intelligenza artificiale con l’obiettivo di diventare nel 2030 la prima potenza mondiale nel settore, ma il piano non specifica obiettivi di adozione dell’armamento IA per le forze armate.

Il Pentagono ha stanziato nel 2018 2 miliardi di dollari, attribuiti all’Agenzia di ricerca e sviluppo DARPA, per far emergere casi di studio in grado di convincere i leader militari statunitensi, molti dei quali considerano l’armamento dell’IA una tecnica adatta alla sola guerra cibernetica. E’ auspicabile che la comunità internazionale ne approfitti per capire e valutare come impedire una corsa alle armi che potrebbe anche andare storta.

@RIPRODUZIONE RISERVATA

Articoli correlati