INTELLIGENZA ARTIFICIALE

Algoritmo emozionale bocciato a scuola: tutti i rischi da evitare

L’industria dell'”affect computing” varrà 90 mld di dollari entro il 2024. Eppure solleva molteplici dubbi sia sul fronte scientifico che su quello legale, in particolare se applicata al monitoraggio degli studenti. Come dimostrano le multe erogate dai Garanti Privacy europei. Ecco come equilibrare normative e innovazione

10 Giu 2020
Marco Martorana

avvocato, studio legale Martorana, Presidente Assodata, DPO Certificato UNI 11697:2017


Fra le applicazioni più avanzate dei sistemi di Intelligenza artificiale, è al centro di controversi dibattiti l’utilizzo dell’Affect Computing. Si tratta di una tecnologia le cui implicazioni informatiche, soprattutto se applicata in ambito scolastico, si scontrano con quelle di altre scienze: non solo con il diritto, ma anche con la psicologia e la pedagogia. Vediamo lo scenario che si sta aprendo e i possibili impatti.

Cos’è l’algoritmo emozionale

L’algoritmo delle emozioni – applicazione “di frontiera” dell’Intelligenza artificiale, codifica, analizza e misura l’intensità delle emozioni:  ovvero identifica schemi emozionali. Ogni evento legato all’uso e allo sviluppo delle nuove tecnologie comporta, innegabilmente, dei riflessi sui diritti di ogni cittadino, parte integrante di una realtà che è in continuo divenire; pensare di frenare o, addirittura, bloccare l’evoluzione digitale sarebbe una mera utopia. Occorre, dunque, apprestare tutti quelli che sono gli strumenti di analisi ed i susseguenti presidi affinché sia possibile arginare eventuali violazioni ai nostri diritti.

Il simposio AI Now Report 2019 ha affrontato, tra le tante, anche la tematica del riconoscimento facciale – o meglio, emozionale – elaborando un’analisi puntuale dei dati statistici rilevati.

A fronte di una crescita esponenziale dell’industria del riconoscimento affect, con un valore di 12 miliardi di dollari nel 2018 e con una previsione di 90 miliardi entro il 2024, ancora permane molto scetticismo sulla valenza scientifica di tali sistemi. Ciononostante, i settori nei quali questa tecnologia è utilizzata sono tra i più sensibili, in quanto a rischio: quello dell’occupazione, dell’istruzione e della giustizia penale.

Affect recognition: come nasce

Rosalind Picard, nell’anno 1997, ha individuato un nuovo settore dell’AI, l’Affective Computing. In origine sono stati applicati metodi che riguardavano prevalentemente il linguaggio testuale ma, successivamente, anche l’analisi delle espressioni del viso, dei movimenti, della elaborazione della voce, e dei biosegnali (attività elettrica cerebrale, cardiaca, dei muscoli del viso, della pelle, la temperatura e la respirazione) hanno contribuito a dare nuovi input agli studi sulla comprensione delle emozioni (e quindi, permettendo di andare al di là dei risultati di interviste o questionari elaborati da psicologi).

Le scienze interessate, ossia la psicologia, neurologia, filosofia e l’antropologia hanno elaborato tre tipi di approccio alle emozioni:

  • categoriale (sei emozioni di base: felicità, tristezza, sorpresa, paura, ira e disgusto)
  • dimensionale (valenza: piacevolezza/sgradevolezza, eccitazione: livello di intensità)
  • teoria dell’appraisal (stima cognitiva della situazione che vive la persona).

Con un linguaggio semantico, dapprima, e poi con un processo di matchmaking di algoritmi non standard di inferenza logica è stato possibile registrare, automaticamente, i parametri vitali, rectius emozionali, di soggetti sottoposti ad adeguati stimoli. I parametri di studio dei singoli biosegnali hanno permesso di estrapolare le caratteristiche più rilevanti, con strumenti per la loro registrazione automatica in modo da creare database.

In Cina Wei Xiaoyong, docente di informatica presso la Sichuan University di Chengdu, ha sperimentato il riconoscimento facciale per monitorare il livello di attenzione dei suoi studenti durante le lezioni al fine di verificare quando l’operato dell’insegnante avesse un minor riscontro in punto di concentrazione. Lo scopo dichiarato, quindi, era quello di arrivare a migliorare la performance dei docenti, studiando la curva derivante dalla scansione facciale dei ragazzi, individuando in quale momento vivessero un’esperienza neutrale oppure felice, espressione di un minore o maggiore coinvolgimento emotivo e di interesse.

Il precedente era stato rappresentato dall’uso della tecnologia, cinque anni prima, per automatizzare il registro delle presenze; il file della scansione del volto di ogni studente si caricava automaticamente.

Affect recognition nelle scuole europee

Per il medesimo fine, l’elenco dei presenti, è stato adottato il riconoscimento facciale degli allievi anche in un liceo pubblico svedese, ma nel mese di agosto 2019, l’Autorità di controllo per la protezione dei dati personali locale, Datainkspetionen, ha sanzionato il Comune di Skelleftea al pagamento di 20.000 euro per violazione del diritto alla protezione dei dati personali in virtù del Regolamento UE 2016/679.

Il riconoscimento facciale si attivava per monitorare l’ingresso in aula e la presenza in classe degli studenti ma l’Autorità Garante ha ritenuto che l’istituto scolastico avesse elaborato illegalmente dati biometrici. Il titolare del trattamento non aveva eseguito la DPIA e non era stato nemmeno chiesto il parere preventivo del Garante, a nulla valendo il consenso prestato dagli interessati, in quanto sussistente una sproporzione tra la posizione di costoro (allievi) e quella della scuola.

WEBINAR
Blockchain, Iot, AI per una Supply Chain intelligente e più efficiente
Blockchain
Intelligenza Artificiale

E’ stato ritenuto violato l’art.5 GDPR e non rispettato il principio di minimizzazione poiché i dati biometrici fornivano al titolare informazioni notevolmente superiori, sia in qualità che in quantità, rispetto alle finalità dichiarate dalla scuola.

Altro esperimento è stato svolto in Francia, nei licei di Les Eucalyptus di Nizza ed Ampère di Marsiglia, dove è stato installato un meccanismo di riconoscimento facciale all’ingresso delle scuole, previo consenso degli interessati; la finalità dichiarata era quella di regolamentare l’afflusso degli studenti, prevenendo l’intrusione da parte di estranei e furti.

La Regione PACA ha chiesto un parere preventivo al CNIL, Commissione Nazionale dell’Informatica e delle libertà, alla fine del mese di luglio 2019 ma, anche in questa occasione, l’Autorità Garante locale ha ritenuto integrata una violazione del GDPR, sussistendo contrarietà a due principi basilari della protezione dei dati personali, a prescindere ancora dal consenso, ossia la proporzionalità e la minimizzazione dei dati; l’obiettivo avrebbe potuto essere perseguito con modalità meno invasive della privacy degli studenti, la maggior parte dei quali – oltretutto – minori.

L’algoritmo nella scuola italiana

Nelle scuole italiane, ad oggi, non risultano sperimentazioni in tal senso. L’unica traccia documentale si rinviene nella Legge 55/2019, cd. Sblocca cantieri, che all’art.5 septies ha previsto un fondo di cinque milioni di euro (anno 2019) e 15 milioni (per ogni anno dal 2020 al 2024) presso il Ministero dell’Interno a favore dei Comuni, finalizzato all’installazione di sistemi di videosorveglianza a circuito chiuso nella aule scolastiche oltre che all’acquisto di attrezzature per la conservazione delle immagini per un tempo adeguato.

Ma, a fronte delle altre esperienze europee sopra menzionate, anche i Comuni italiani potrebbero subire l’applicazione di una sanzione da parte dell’Autorità garante locale laddove realizzassero quanto previsto dalla L.55/2019 sul punto.

Ancora una volta, infatti, verrebbe compromessa la tutela dei dati biometrici integrando una grave violazione sia dell’art.9 GDPR, non sussistendo un’adeguata base giuridica né una finalità di trattamento, sia degli artt. 35 e 36 mancante la valutazione di impatto oltre che la richiesta di parere al Garante, obbligatoria nel caso de quo. A fronte, dunque, di esigenze di sicurezza (come previsto normativamente anche per l’installazione di similari sistemi di videosorveglianza nelle strutture socio-assistenziali e socio-sanitarie per anziani) sarebbe notevolmente compromessa la libertà di azione di ogni soggetto, osservato e studiato.

Bilanciare diritti e innovazione

Ovviamente, anche nell’ambito della videosorveglianza, gli interessi in gioco sono molteplici e di pertinenza di diverse branche giuridiche; il bilanciamento al fine di stabilire le priorità deve, quindi, essere il risultato di valutazioni altrettanto complesse ed articolate.

Quando si parla di riconoscimento facciale, delle emozioni – invero – si va oltre la mera registrazione di movimenti corporei, in quanto si utilizzano gli algoritmi per analizzare e valutare, per finalità non sempre trasparenti, le singole espressioni facciali, l’alzare un sopracciglio, allargare le labbra in un sorriso oppure in una smorfia, aggrottare o distendere la fronte, socchiudere o spalancare gli occhi.

Ogni minimo cambiamento del volto è scannerizzato, confrontato con quello precedente ed in virtù di una stringa alfanumerica, valutato, riportante una potenziale schedatura dello studente come “attento” o “disattento”, “partecipe” o “disinteressato” alla lezione, “attivo” o “passivo” alla spiegazione di matematica o di latino.

Algoritmo emotivo, impatto sugli studenti

Ma, se e come, tutto questo può comportare dei condizionamenti sull’alunno? E’ indubbio che, se controllati e consapevoli di tale controllo, gli studenti adotteranno condotte il più possibile adeguate al contesto, magari non permettendo alle proprie emozioni di esprimersi appieno. Così facendo, però, possono derivare somatizzazioni, disagi anche fisici più o meno gravi.

Le componenti corporea e cognitiva delle emozioni non si troverebbero in perfetto allineamento in quanto, sebbene venga riconosciuta, l’emozione non sarebbe espressa per timore di negative caratterizzazioni da parte di chi ricopre un ruolo di preminenza.

L’equilibrio psicofisico potrebbe, dunque, subirne pregiudizio considerato che si genererebbe un automatismo di inibizione dell’azione.

E se da un lato sarebbe auspicabile che l’uso degli algoritmi emozionali fosse oggetto di uno studio a più ampio raggio, attingendo alle categorie non solo scientifiche ma anche giuridiche, dall’altro è opportuno fare maggiore chiarezza sulle reali finalità dell’utilizzo di tali nuove tecnologie in quanto, in questo modo, sarebbe possibile trovare la loro giusta collocazione in una dimensione meta-giuridica.

Dovremmo iniziare a confrontarci – anche a livello sovranazionale – e domandarci, ad esempio, sia quali siano le concrete argomentazioni a favore e quelle contro il riconoscimento facciale delle emozioni nella scuola, un luogo dove lo studente, spesso ancora minorenne, dovrebbe trovare fisiologica protezione, sia quale sarebbe il ruolo degli insegnanti nell’utilizzare le informazioni conseguenti e quali le metodologie di trattamento e di conservazione dei dati.

E’ quanto afferma anche l’Agenzia europea per i diritti fondamentali, nel recente studio “Facial Recognition Techonology: fundamental rights considerations in the context of law enforcement” (FRA-2019), nel quale vengono sollecitati gli Stati ad emanare regole normative specifiche e chiare.

La lezione di Jean Piaget

Sarebbe, inoltre, opportuna un’interazione tra le varie scienze interessate e, per quanto qui rileva, coinvolgente anche la pedagogia e la psicologia applicata all’ambiente scuola. Già l’elemento antropologico ci induce a differenziare le manifestazioni delle emozioni nelle varie culture, ma l’analisi pedagogica e psicologica impone ulteriori valutazioni.

Jean Piaget (1896-1980), psicologo-filosofo-pedagogista, già sottolineava l’importanza dell’interazione tra cognizione ed affettività nello sviluppo della personalità, per l’affinità dei piani affettivo ed intellettivo.

Il processo di apprendimento è strettamente correlato agli impulsi derivanti dalle emozioni ed anche il rapporto tra docente ed allievo è connesso all’ambito emozionale, ancor più nel gruppo classe ove le dinamiche de quibus rivestono un ruolo fondamentale.

Tecnologia e diritti, il ruolo dei giuristi

Concludendo, una soluzione prospettabile potrebbe essere quella di intervenire sugli attori di questo processo ormai inarrestabile, nel quale i giuristi sono, e saranno sempre più, parte integrante per evitare il rischio che il divario tra il paradigma tecnologico e quello giuridico possa diventare ancora più ampio; avere come punto di riferimento il criterio della propria soggettività, di cui all’art.2 Cost, permetterebbe già di allocare criticamente il sistema degli algoritmi in un contesto maggiormente definito, tenendo conto in particolare delle peculiarità del settore scolastico, evitando non solo di disconoscere il divenire dell’AI, ma anzi arrivando a canalizzarlo anche, ad esempio, in innovativi e creativi sistemi di gestione e certificazione.

WEBINAR
Machine Learning, Analytics e hybrid cloud a supporto della Cybersecurity. Ecco come in un webinar
Big Data
Intelligenza Artificiale

@RIPRODUZIONE RISERVATA

Articolo 1 di 4