convergenza

HPC e cloud per affrontare le sfide dell’intelligenza artificiale: la piattaforma ENEA

A fronte della necessità di utilizzare piattaforme hardware eterogenee e architetture di calcolatori differenziate, nasce l’esigenza di arrivare a una convergenza tra l’High Performance Computing e il cloud per affrontare in maniera esaustiva le nuove sfide poste dall’intelligenza artificiale. La soluzione ENEA

25 Feb 2022
Angelo Mariano

AI/ML Researcher, ENEA Bari

hpc2

La proliferazione e la diversificazione dei flussi di lavoro nel grande calcolo richiede con sempre maggiore forza la convergenza tra il mondo dell’High Performance Computing (HPC) e del cloud computing per affrontare in maniera esaustiva le nuove sfide poste dall’intelligenza artificiale (IA).

Supercomputer, il ruolo dell’Italia nella competizione europea e globale

Se da un lato il mondo dall’HPC per anni è rimasto legato a elaborazioni numeriche anche molto sofisticate in un ambiente monolitico e rigido costruito su misura di una platea di utenti, volto a utilizzare direttamente le risorse dell’hardware sottostante, dall’altro lato il mondo del cloud computing si è andato affermando come paradigma di flessibilità e di versatilità, consentendo di trasportare la capacità computazionale in qualsiasi luogo e su qualsiasi piattaforma, grazie alle enormi potenzialità del web. Sotto un altro punto di vista però l’HPC ha potuto contare su infrastrutture parallele sempre più efficienti e veloci, sebbene con una curva di apprendimento molto ripida, con la difficoltà di individuare gateway di connessione alle risorse che semplificassero il ruolo del ricercatore. D’altra parte il cloud computing ha mostrato una grossa semplicità di utilizzo a fronte dell’uso di complessità di calcolo molto più basse.

Da dove nasce l’esigenza di una convergenza tra cloud e HPC

Grazie soprattutto alla necessità di utilizzare piattaforme hardware eterogenee e architetture di calcolatori differenziate, nasce dunque l’esigenza di arrivare a una convergenza tra queste due realtà. Le richieste di elaborazioni di algoritmi e modelli di IA spingono verso l’adozione di implementazioni più flessibili delle librerie e degli ambienti di sviluppo e addestramento dei codici. In particolare, emerge sempre più diffusa la richiesta di hardware specializzato, come le Graphic Processor Units (GPU), particolarmente indicate per il calcolo matriciale che è alla base dell’ottimizzazione delle reti neurali.

WHITEPAPER
Come costruire l'ufficio tecnologico del futuro senza investimento iniziale
CIO
Cloud

I flussi di lavoro HPC tradizionali possono essere arricchiti dalle tecniche di IA per velocizzare l’innovazione e la ricerca scientifica. Ricercatori e data scientists sviluppano nuovi processi per la risoluzione dei problemi che richiedono risorse computazionali ad alto livello di specializzazione e spesso si traducono in applicazioni di IA basate sul machine learning e deep learning. Queste applicazioni possono sicuramente trarre beneficio dalla virtualizzazione e dalle architetture cloud che consentono di ottenere librerie e strumenti personalizzati. Le tecnologie HPC e cloud devono convergere per accelerare la scoperta e l’innovazione, esercitando anche pressioni sui gestori dei sistemi ICT affinché supportino ambienti sempre più complessi. Le tecnologie di virtualizzazione basate su container indubbiamente eliminano i passaggi manuali che possono rallentare il provisioning e possono portare a errori di configurazione e automatizzano la distribuzione di librerie, framework, servizi, piattaforme e applicazioni personalizzati.

Il ruolo dell’ENEA nel campo del calcolo distribuito

L’ENEA, l’Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo economico sostenibile, opera in diversi settori di ricerca e sviluppo, tra cui tecnologie energetiche, nuovi materiali, scienze della vita e ambientali. A supporto delle sue attività istituzionali di ricerca, la divisione per lo Sviluppo Sistemi per l’Informatica e l’ICT dell’ENEA fornisce risorse computazionali ad alta performance organizzate nell’infrastruttura distribuita ENEAGRID basata sui cluster HPC CRESCO, il cui ultimo cluster, CRESCO6, si è classificato al 420° posto nell’elenco TOP500 di novembre 2018. Queste risorse computazionali distribuite sui differenti centri di ricerca consentono all’ENEA di rivestire il ruolo di seconda realtà pubblica italiana nel campo del calcolo distribuito.

In corrispondenza alla sempre maggiore richiesta di integrazione tra cloud e HPC, queste risorse hardware HPC devono essere messe a disposizione per un insieme diversificato di ambienti e librerie che i ricercatori possono mettere insieme per risolvere i loro bisogni e portare a compimento le proprie attività scientifiche.

La virtualizzazione basata su container

Per applicazioni di elaborazione avanzate come simulazione, elaborazione ad alte performance, calcolo parallelo, machine learning, deep learning e analisi dei dati, la virtualizzazione basata su container può offrire la flessibilità necessaria per eseguire questi carichi di lavoro in ambienti diversi, con un’unica interfaccia per il provisioning e la distribuzione dei container, integrando modelli di framework facilmente scaricabili, integrabili e utilizzabili.

I container consentono a più applicazioni di funzionare in isolamento su un singolo host e incapsulano un’applicazione insieme all’ambiente di runtime di cui ha bisogno, consentendo di spostarsi quasi liberamente tra diversi host senza la necessità di riconfigurazioni speciali. Essi alleggeriscono notevolmente il lavoro degli amministratori di sistema, sono oggetti autoconsistenti, adatti ad essere condivisi e trattati come se fossero delle black box. Soprattutto nell’ambito HPC i container presentano però dei problemi di cosiddetta root escalation: in qualche modo in fase di creazione dei container è necessario utilizzare un utente con privilegi di root e questo utente potrebbe danneggiare o eseguire codice malevolo sull’intera infrastruttura, tale da intaccarne l’integrità. In particolare questa problematica è piuttosto sensibile in un contesto in cui non solo i container devono offrire servizi autoconsistenti ma anche devono eseguire dei compiti di calcolo avanzato su hardware specializzato. Le soluzioni di containerizzazione devono essere in qualche modo ripensate sia nella loro essenza che nell’architettura, ricorrendo a soluzioni open source alternative, create per essere interoperabili con gli strumenti e i flussi di lavoro già comuni nel mondo HPC.

In particolare, ENEA ha scelto di implementare sui propri sistemi il framework di containerizzazione open source “Singularity” che nasce appunto per trasferire il concetto della mobilità computazionale dal mondo cloud al mondo HPC. Tuttavia, il passaggio a Singularity e l’abbandono dell’attuale approccio “bare metal” richiede agli utenti di familiarizzare con un nuovo modo di pensare e con due azioni chiave: creare nuovi contenitori e quindi lanciarli sull’hardware specializzato di destinazione.

La piattaforma SaaS Crescoware

Nello specifico, nell’ambiente di calcolo distribuito CRESCO è nato Crescoware, una piattaforma Software-as-a-Service (SaaS) creata per facilitare gli utenti in questo cambio di paradigma. L’idea è di portare tutte le azioni necessarie per lavorare con i container all’interno di un ambiente visuale in grado di astrarre tutte le complessità insite nel processo di creazione e di fruizione dei container, promuovendo i vantaggi offerti dalla containerizzazione, con l’obiettivo di creare un’esperienza senza attriti nello sfruttamento delle risorse HPC di ENEAGRID.

La piattaforma Crescoware è operativa dalla fine del 2021 e pian piano si sta affermando come strumento utile all’elaborazione di ambienti personalizzati per cogliere tutte le potenzialità offerte dalle risorse HPC sia nell’ambito dello sviluppo di modelli di machine learning e deep learning con le librerie più aggiornate (tensorflow, pytorch, ecc), ma anche in campi molto diversificati, come ad esempio differenti applicazioni grafiche e modelli di simulazione di strutture cristalline e reticolari per l’analisi dei materiali.

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 3