Peluche e robot capaci di dialogare con i bambini stanno arrivando sugli scaffali dei negozi e negli store online. A differenza dei tradizionali giocattoli parlanti, questi dispositivi non si limitano a riprodurre frasi registrate: inviano le domande degli utenti a modelli di intelligenza artificiale ospitati su server remoti e restituiscono risposte generate in tempo reale. L’oggetto fisico è solo il terminale di un sistema tecnologico molto più ampio e, in questa trasformazione, emergono nuove responsabilità lungo la filiera dell’IA.
Indice degli argomenti
L’indagine: chatbot progettati per adulti nei prodotti per bambini
Un’inchiesta pubblicata da NBC News, basata su un rapporto della U.S. Public Interest Research Group Education Fund (PIRG) ha analizzato decine di giocattoli con intelligenza artificiale venduti online.
Il dato sorprendente è che i produttori di questi giocattoli (nell’indagine si parla di oltre venti giocattoli commercializzati online) affermano di usare tecnologie di aziende come OpenAI e Google, nonostante tali sistemi prevedano limiti di età per l’utilizzo.
Secondo il rapporto, il problema nasce da una lacuna nelle politiche delle piattaforme di IA. Sebbene i chatbot siano formalmente destinati dalle piattaforme a utenti adolescenti o adulti, i prodotti sono sviluppati da sviluppatori terzi e produttori di giocattoli che integrano questi modelli nei propri prodotti e possono accedere alle API senza controlli significativi in merito all’uso finale. L’indagine PIRG evidenzia che, proprio questo livello intermedio della filiera, consente alle aziende di giocattoli di utilizzare modelli linguistici progettati per utenti adolescenti o adulti.
I ricercatori PIRG sono infatti riusciti a registrarsi come sviluppatori di giocattoli sulle piattaforme di Google, OpenAI e xAI senza verifiche sostanziali e a costruire persino un prototipo di peluche conversazionale alimentato da IA senza incontrare particolari ostacoli o restrizioni.
Dati, sicurezza e contenuti: tre problemi aperti
La stessa architettura tecnologica che consente ai giocattoli di dialogare con i bambini introduce poi aree di criticità che i ricercatori hanno iniziato a documentare, come: la prevedibilità dei contenuti generati, la gestione dei dati raccolti durante le interazioni e la natura della relazione che questi dispositivi instaurano con i bambini.
I modelli linguistici generativi producono infatti risposte su base probabilistica e non sempre prevedibile, poiché, durante conversazioni prolungate, i sistemi possono allontanarsi dalle regole di sicurezza iniziali e generare contenuti inappropriati o fuorvianti. Alcuni test su giocattoli conversazionali hanno mostrato che i chatbot integrati possono arrivare a discutere argomenti inadatti all’età degli utenti o fornire indicazioni su oggetti potenzialmente pericolosi presenti in casa; in un caso documentato, un peluche (l’orsetto Kumma) avrebbe persino spiegato il significato di termini legati a pratiche sessuali BDSM.
A ciò si aggiunge il tema della raccolta e del trattamento dei dati derivante dalla trasmissione delle registrazioni vocali e dei dati delle conversazioni dai dispositivi ai server dei fornitori di servizi per generare le risposte, con la conseguenza che le interazioni dei bambini possono essere registrate ed elaborate su infrastrutture remote.
Infine, i prodotti progettati per presentarsi come compagni di gioco e incoraggiare conversazioni prolungate innescano una dinamica che, secondo alcune analisi e report, può influenzare il modo in cui i bambini percepiscono l’affidabilità delle informazioni e il rapporto con interlocutori non umani.
Per capire come questi rischi si producano concretamente, è necessario osservare come funziona la catena tecnologica che sta dietro a un giocattolo apparentemente semplice.
La catena tecnologica dietro un peluche intelligente
Questi problemi emergono da un’architettura che, a differenza dei tradizionali giocattoli elettronici operanti attraverso programmi interni e risposte predefinite, si basa su un sistema distribuito che coinvolge servizi remoti e infrastrutture cloud. Per comprendere meglio dove si collocano le responsabilità occorre allora osservare come funzionano realmente i giocattoli dotati di intelligenza artificiale.
In termini operativi: il dispositivo registra la domanda del bambino tramite microfono o sensori vocali, la converte in dati digitali e la trasmette attraverso Internet a una piattaforma di elaborazione. Qui entra in gioco un modello linguistico generativo che interpreta la richiesta e produce una risposta in linguaggio naturale, la quale viene poi inviata nuovamente al dispositivo per essere riprodotta tramite altoparlante o display.
Questo processo, apparentemente semplice dal punto di vista dell’utente, è in realtà il risultato dell’interazione tra diversi attori tecnologici. La filiera tipica di un giocattolo con IA comprende infatti almeno quattro livelli distinti, cioè: il produttore del giocattolo, lo sviluppatore dell’applicazione, il fornitore del modello linguistico, il provider dell’infrastruttura cloud.
Gli attori della filiera tecnologica dietro ai giocattoli IA
Il produttore realizza il dispositivo fisico e il software di base che consente l’interazione con l’utente e la raccolta dei dati vocali; lo sviluppatore integra il servizio di intelligenza artificiale collegando il dispositivo ai modelli linguistici tramite librerie software e interfacce di programmazione (API) e gestendo il flusso dei dati. C’è poi il fornitore del modello linguistico mette a disposizione il sistema generativo che produce le risposte, mentre il provider cloud fornisce l’infrastruttura computazionale necessaria per elaborare le richieste e generare le risposte sui server remoti.
Si tratta pertanto di un ecosistema tecnologico distribuito, in cui il funzionamento del prodotto dipende dalla cooperazione tra soggetti diversi e dove nessuno degli attori coinvolti controlla interamente il sistema nel suo complesso.
Il giocattolo appare come un oggetto semplice e autonomo, ma in realtà rappresenta l’ultimo punto di accesso ad una catena tecnologica molto più ampia.
Struttura multilivello e le restrizioni d’età lungo la filiera
Proprio la struttura multilivello della filiera tecnologica descritta aiuta a comprendere una delle criticità evidenziate dall’indagine della PIRG: le restrizioni d’età previste per i chatbot non sempre seguono il prodotto finale lungo la catena degli attori coinvolti.
Molte delle principali aziende che sviluppano modelli linguistici generativi prevedono infatti limiti di età per l’accesso diretto ai propri servizi. ChatGPT, ad esempio, è generalmente destinato a utenti di almeno 13 anni, mentre altri sistemi analoghi adottano soglie simili o prevedono cautele specifiche per l’uso da parte di minorenni. Queste limitazioni riflettono il fatto che i chatbot generativi possono produrre contenuti non sempre prevedibili e affrontare temi che non sono stati progettati per un pubblico di minori.
Se le restrizioni d’età stabilite dalle piattaforme di intelligenza artificiale si applicano soprattutto agli utenti che utilizzano direttamente i chatbot attraverso siti web o applicazioni, la situazione cambia quando gli stessi modelli vengono utilizzati da sviluppatori terzi. Attraverso le interfacce di programmazione, questi soggetti possono integrare i modelli linguistici in prodotti e servizi commerciali (come applicazioni o giocattoli interattivi) senza che le stesse restrizioni si applichino automaticamente all’uso finale del sistema.
Aziende che producono giocattoli o dispositivi interattivi possono pertanto accedere ai modelli linguistici come sviluppatori e incorporarli nei propri prodotti senza che le piattaforme dispongano necessariamente di strumenti efficaci per verificare chi sarà l’utente finale del sistema. In questo modo, un modello progettato per interagire con adolescenti o adulti può essere utilizzato indirettamente all’interno di dispositivi destinati ai bambini.
La distinzione tra accesso diretto al servizio e integrazione tecnologica tramite sviluppatori fa sì che le restrizioni pensate per gli utenti non sempre si trasferiscano lungo la filiera industriale, che utilizza quei modelli come componente tecnologica. E il controllo sull’età dell’utente finale rischia così di attenuarsi proprio nel momento in cui la tecnologia viene incorporata in prodotti destinati a contesti diversi da quelli originariamente previsti.
Il nodo della responsabilità lungo la filiera
Quando un giocattolo dotato di intelligenza artificiale genera una risposta inappropriata, individuare il soggetto responsabile non è immediato. Il produttore del dispositivo può sostenere di limitarsi a integrare una tecnologia sviluppata da terzi; il fornitore del modello linguistico può osservare che il sistema viene utilizzato all’interno di un’applicazione progettata da altri; lo sviluppatore che realizza l’integrazione, infine, può richiamare i limiti tecnici o le condizioni d’uso della piattaforma su cui si basa il servizio.
Questa distribuzione di ruoli lungo la filiera tecnologica produce una forma di frammentazione della responsabilità, già osservata in altri ambiti dell’economia digitale (basti pensare agli stessi social media) in cui diversi attori contribuiscono alla realizzazione di un unico prodotto o servizio.
Nel caso dei giocattoli intelligenti, tuttavia, la questione assume una dimensione particolarmente delicata visto che il destinatario finale dell’interazione è un bambino.
Cosa cambia con l’AI Act e perché il problema resta industriale
Il dibattito sui giocattoli con IA si inserisce in un momento in cui l’Unione europea sta definendo un quadro normativo organico per l’intelligenza artificiale.
L’AI Act introduce una serie di obblighi per i sistemi basati su IA, tra cui requisiti di gestione dei rischi, documentazione tecnica, trasparenza e controllo umano, con un approccio basato sul livello di rischio delle applicazioni. I sistemi destinati a interagire con i minori o utilizzati in prodotti rivolti ai bambini possono rientrare tra quelli che richiedono particolare attenzione in termini di sicurezza e valutazione preventiva dei rischi.
Tuttavia, il caso dei giocattoli intelligenti evidenzia anche un limite strutturale che la regolazione fatica a intercettare pienamente: la distribuzione delle responsabilità lungo una filiera composta da attori diversi.
L’AI Act distingue infatti tra vari ruoli nella catena di fornitura (provider, deployer, importer, distributor), attribuendo a ciascuno specifici obblighi; tuttavia, nella pratica, questi soggetti possono operare in Paesi diversi e intervenire in momenti differenti del ciclo di vita del prodotto, con relazioni contrattuali che rendono più complesso individuare dove debbano collocarsi le principali responsabilità operative.
Per questo motivo, nel caso dei giocattoli con IA, la tutela degli utenti, oltre che dalla progettazione del singolo dispositivo o dalla qualità del modello linguistico utilizzato, dipende dalla capacità di governare l’intera filiera tecnologica che rende possibile il funzionamento di quel prodotto.
La responsabilità è quindi una questione industriale che attraversa l’intero ecosistema tecnologico.
La filiera dell’IA e la lezione dell’industria tradizionale
Per affrontare in modo efficace la questione della responsabilità nei giocattoli con intelligenza artificiale è probabilmente necessario guardare alla filiera tecnologica con un approccio simile a quello adottato in altri settori industriali.
Nelle catene produttive tradizionali, infatti, la responsabilità non ricade su un unico attore, ma è distribuita lungo l’intero processo: dal progettista del prodotto al produttore dei componenti, fino al soggetto che lo immette sul mercato.
Nel caso dei dispositivi basati su IA, è tuttavia indubbio che la filiera include elementi nuovi (modelli linguistici sviluppati da terzi, infrastrutture cloud che elaborano i dati a distanza) che rendono meno immediata l’attribuzione delle responsabilità.
Una possibile direzione potrebbe quindi consistere nell’estendere ai sistemi di IA logiche già note nella sicurezza dei prodotti, come obblighi di valutazione dei rischi lungo tutta la catena tecnologica; maggiore trasparenza sull’origine delle componenti software e meccanismi di accountability condivisa tra produttori, sviluppatori e fornitori di modelli.
In questo modo la responsabilità, anziché essere scaricata sul singolo attore più “visibile”, sarebbe distribuita in modo coerente lungo la filiera che rende possibile il funzionamento del prodotto.
La responsabilità del “capofiliera”
Nelle filiere produttive tradizionali, il soggetto che coordina la catena (spesso il produttore finale o il cosiddetto capofiliera) ha il compito di garantire che tutti i componenti e i fornitori rispettino determinati standard di sicurezza e qualità.
Nella produzione industriale, infatti, il fatto che una parte del prodotto sia realizzata da terzi non esonera l’azienda che lo immette sul mercato dal verificare che l’intera catena produttiva rispetti requisiti tecnici e normativi.
Trasposto nel contesto dell’intelligenza artificiale, questo principio suggerisce che le piattaforme che sviluppano e distribuiscono modelli generativi non possano limitarsi a stabilire regole per l’uso diretto dei loro servizi, lasciando poi agli sviluppatori terzi la piena responsabilità delle applicazioni finali.
Se i modelli vengono utilizzati come infrastruttura tecnologica per prodotti destinati a contesti sensibili (come i dispositivi rivolti ai bambini), le piattaforme che controllano l’accesso ai modelli dovrebbero assumere un ruolo attivo di coordinamento della filiera, verificando le applicazioni sviluppate, imponendo requisiti di sicurezza coerenti con i propri standard e prevedendo meccanismi di controllo sull’uso delle API.
La responsabilità di filiera consiste infatti nell’assicurarsi che le regole fondamentali stabilite all’origine della tecnologia non si disperdano lungo il percorso che porta dal modello di IA al prodotto finale.
