vector database

Intelligenza artificiale, ecco la nuova fase: database più efficaci



Indirizzo copiato

Con l’IA generativa stiamo entrando in una nuova fase. Verso un modo diverso di usare i dati, rispetto allo scraping massivo. Con un uso più settoriale, più accurato, che può dare anche risultati migliori, più utili, oltre che più corretti e leciti. Grazie a database interni di un’azienda e a vector database semantici

Pubblicato il 28 ago 2023

Antonio Cisternino

Università di Pisa



dati ai

Ormai sappiamo come un pilastro essenziale di questa nuova era di tecnologie IT basate sull’intelligenza artificiale siano le collezioni di dati utilizzate per effettuare l’addestramento dei modelli.

La composizione della collezione ha implicazioni su elementi centrali all’impiego reale di queste tecnologie, temi critici su cui fioccano molte cause legali negli Usa:

  • la privacy,
  • il bias dovuto ai punti di vista espressi nei documenti selezionati,
  • il copyright e il diritto d’uso per la generazione di nuovi contenuti.

A testimonianza del fatto che si tratti di un tema caldo, è notizia di questi giorni quella di un giudice americano che non ha riconosciuto il diritto al Copyright di un immagine generata da una AI, nonostante l’argomentazione che l’elaborazione del prompt che la genera abbia diritto ad essere tutelata.

La svolta dei dati per l’IA: l’esempio Adobe

Ma adesso stiamo entrando in una nuova fase. Verso un modo diverso di usare i dati, rispetto allo scraping massivo. Con un uso più settoriale, più accurato, che può dare anche risultati migliori, più utili, oltre che più corretti e leciti.

Improvvisamente un colosso come Adobe, il cui business sembrava in discussione a causa della capacità sia generativa di immagini e video che di modifica, ha visto un repentino cambiamento alla rivelazione degli strumenti denominati Firefly con un incremento del valore delle azioni della corporate del 36%.

La tecnologia Firefly è basata sull’enorme collezione di immagini acquisite da Adobe nel corso di decenni, consentendo l’apprendimento di modelli di AI generativa come quello che consente a Photoshop di aggiungere elementi generati a partire da un’area selezionata e un prompt testuale.

Gli investitori scommettono sul fatto che, detenendo i diritti d’uso delle immagini, Adobe potrà impiegare le tecnologie di generazione di immagini senza timori di azioni legali da parte degli autori, un rischio concreto che corrono OpenAI (per il modello DALL-E) e Midjourney (per l’omonimo modello) che hanno usato immagini raccolte on-line ponendo un problema sui diritti d’uso delle immagini elaborate.

Capitalizzare la conoscenza con l’intelligenza artificiale

Che un colosso IT come Adobe possa sfruttare i propri asset per addestrare dei modelli AI può non stupire più di tanto, ma è naturale chiedersi chi detenga collezioni dati, e soprattutto i diritti d’uso necessari a procedere all’addestramento di modelli.

Sicuramente Amazon AWS a fine 2019 annunciava tra i servizi del Sage maker la possibilità di raffinare un modello di fraud detection usando quello addestrato utilizzando i dati ottenuti dalle frodi sul sito di Amazon, sicuramente un modello tra i più raffinati al mondo nell’ambito del commercio on-line.

Ad agosto Google ha lanciato un servizio su Youtube per acquisire le licenze d’uso delle voci degli artisti per addestrare modelli di AI dedicati alla voce. Primo accordo: con Universal.

Sempre più spesso detentori di dati di interesse per l’addestramento di modelli AI vengono contattati da chi, come Google, ha le competenze per creare i modelli pagando gli opportuni diritti. Sembra emergere quindi un modello di business che invece di appellarsi alla nozione di fair use di dati pubblicati in rete si paga l’accesso ai dati per l’addestramento sfruttando i modelli di distribuzione dei diritti già in uso e accettati dalla nostra organizzazione sociale.

I vector database

Ma come può una realtà più piccola e con capitali sia finanziari che umani meno corposi capitalizzare sulla conoscenza di cui si dispone, magari senza disporre delle quantità di dati necessarie ad addestrare un modello di deep learning autonomamente? La risposta è “vector database”.

Ad aprile una startup chiamata Weaviate ha acquisito 50 milioni di dollari di valore grazie al diffondersi del database AI con lo stesso nome.

Poche settimane dopo un suo competitor, PineCone, ha visto la propria valutazione salire di 100 milioni di dollari.

Più recentemente un’altra compagnia, Neon, ha raccolto altri 46 milioni di dollari in un round di finanziamenti.

Per capire perché questi “vector database” stiano divenendo così popolari da attrarre finanziamenti così ingenti è necessario comprendere il concetto di embedding. Un embedding è un vettore, ovverosia una lista di numeri, prodotto da un modello di AI che rappresenta un particolare concetto, sia esso del testo o un’immagine.

In uno spazio vettoriale è sempre possibile “misurare” la distanza tra due vettori e, se si dispone di una collezione concetti ordinarli per “vicinanza” rispetto ad un dato input.

Ad esempio in un database di film il termine “robot” potrebbe considerare “WALL-E” il concetto più vicino nonostante nel database non appaia il termine robot esplicitamente.

Se si dispone quindi di un modello capace di produrre gli embedding di informazioni in possesso dell’organizzazione è possibile organizzare la conoscenza dell’organizzazione in frammenti ricercabili per il loro significato, consentendo di trovare concetti espressi in una lingua a partire da richieste in un’altra, o un’immagine a partire da frammenti affini di un’altra.

Immagine che contiene testo, schermata, diagramma, CarattereDescrizione generata automaticamente

Questi sistemi consentono, in un’organizzazione più ordinaria dei dati con oggetti rappresentati da liste di proprietà con associati i valori, di beneficiare dei modelli di AI disponibili sia online, come quelli di Google o di OpenAI, oppure liberamente disponibili su Hugging Face o con modelli rilasciati come LLaMa2.

Opportuni moduli (vectorizer modules) sono responsabili di interrogare il modello per ottenere il vettore che ne rappresenti il concetto. Il database offre quindi operatori per operare sui vettori per trovare elementi affini al significato di una particolare interrogazione.

In effetti questi database sono sempre più spesso usati come una sorta di memoria a lungo termine in cui memorizzare i frammenti di conoscenza da ricercare al fine di generare un prompt, superando quindi il limite alla conoscenza che si può esprimere in un prompt di un modello LLM.

Valorizzare la conoscenza

La possibilità di cercare nelle informazioni in modo più “semantico” consente di valorizzare le conoscenze di un’organizzazione, anche piccola, senza dover costruire enormi collezioni di dati che consentano l’addestramento di un modello. In ogni caso l’idea di “pagare” per l’uso di dati in possesso di organizzazioni per l’addestramento sembra offrire una via alternativa al ricorso al “fair use” per l’uso di informazioni acquisite navigando Internet.

Non bisogna dimenticare il parziale fallimento dell’iniziativa big data dieci anni fa: molte organizzazioni, nonostante gli investimenti, non sono riusciti ad estrarre valore dai propri dati.

È difficile capire l’impatto che avrà sul business l’applicazione di questi nuovi modelli, e sicuramente la scarsità di competenze per far fruttare queste architetture potrebbe ridurre il valore potenzialmente generabile a partire dalla propria conoscenza.

Vedremo come la crescita di questi strumenti contribuiranno a sviluppare nuove organizzazioni, sicuramente è il momento di non limitarsi a fare domande ai modelli LLM ma capire come arricchirli di conoscenza esterna.

 

 

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4