vector database

Intelligenza artificiale, ecco la nuova fase: database più efficaci



Indirizzo copiato

Con l’IA generativa stiamo entrando in una nuova fase. Verso un modo diverso di usare i dati, rispetto allo scraping massivo. Con un uso più settoriale, più accurato, che può dare anche risultati migliori, più utili, oltre che più corretti e leciti. Grazie a database interni di un’azienda e a vector database semantici

Pubblicato il 28 ago 2023

Antonio Cisternino

Università di Pisa



dati ai

Ormai sappiamo come un pilastro essenziale di questa nuova era di tecnologie IT basate sull’intelligenza artificiale siano le collezioni di dati utilizzate per effettuare l’addestramento dei modelli.

La composizione della collezione ha implicazioni su elementi centrali all’impiego reale di queste tecnologie, temi critici su cui fioccano molte cause legali negli Usa:

  • la privacy,
  • il bias dovuto ai punti di vista espressi nei documenti selezionati,
  • il copyright e il diritto d’uso per la generazione di nuovi contenuti.

A testimonianza del fatto che si tratti di un tema caldo, è notizia di questi giorni quella di un giudice americano che non ha riconosciuto il diritto al Copyright di un immagine generata da una AI, nonostante l’argomentazione che l’elaborazione del prompt che la genera abbia diritto ad essere tutelata.

La svolta dei dati per l’IA: l’esempio Adobe

Ma adesso stiamo entrando in una nuova fase. Verso un modo diverso di usare i dati, rispetto allo scraping massivo. Con un uso più settoriale, più accurato, che può dare anche risultati migliori, più utili, oltre che più corretti e leciti.

Improvvisamente un colosso come Adobe, il cui business sembrava in discussione a causa della capacità sia generativa di immagini e video che di modifica, ha visto un repentino cambiamento alla rivelazione degli strumenti denominati Firefly con un incremento del valore delle azioni della corporate del 36%.

La tecnologia Firefly è basata sull’enorme collezione di immagini acquisite da Adobe nel corso di decenni, consentendo l’apprendimento di modelli di AI generativa come quello che consente a Photoshop di aggiungere elementi generati a partire da un’area selezionata e un prompt testuale.

Gli investitori scommettono sul fatto che, detenendo i diritti d’uso delle immagini, Adobe potrà impiegare le tecnologie di generazione di immagini senza timori di azioni legali da parte degli autori, un rischio concreto che corrono OpenAI (per il modello DALL-E) e Midjourney (per l’omonimo modello) che hanno usato immagini raccolte on-line ponendo un problema sui diritti d’uso delle immagini elaborate.

Capitalizzare la conoscenza con l’intelligenza artificiale

Che un colosso IT come Adobe possa sfruttare i propri asset per addestrare dei modelli AI può non stupire più di tanto, ma è naturale chiedersi chi detenga collezioni dati, e soprattutto i diritti d’uso necessari a procedere all’addestramento di modelli.

Sicuramente Amazon AWS a fine 2019 annunciava tra i servizi del Sage maker la possibilità di raffinare un modello di fraud detection usando quello addestrato utilizzando i dati ottenuti dalle frodi sul sito di Amazon, sicuramente un modello tra i più raffinati al mondo nell’ambito del commercio on-line.

Ad agosto Google ha lanciato un servizio su Youtube per acquisire le licenze d’uso delle voci degli artisti per addestrare modelli di AI dedicati alla voce. Primo accordo: con Universal.

Sempre più spesso detentori di dati di interesse per l’addestramento di modelli AI vengono contattati da chi, come Google, ha le competenze per creare i modelli pagando gli opportuni diritti. Sembra emergere quindi un modello di business che invece di appellarsi alla nozione di fair use di dati pubblicati in rete si paga l’accesso ai dati per l’addestramento sfruttando i modelli di distribuzione dei diritti già in uso e accettati dalla nostra organizzazione sociale.

I vector database

Ma come può una realtà più piccola e con capitali sia finanziari che umani meno corposi capitalizzare sulla conoscenza di cui si dispone, magari senza disporre delle quantità di dati necessarie ad addestrare un modello di deep learning autonomamente? La risposta è “vector database”.

Ad aprile una startup chiamata Weaviate ha acquisito 50 milioni di dollari di valore grazie al diffondersi del database AI con lo stesso nome.

Poche settimane dopo un suo competitor, PineCone, ha visto la propria valutazione salire di 100 milioni di dollari.

Più recentemente un’altra compagnia, Neon, ha raccolto altri 46 milioni di dollari in un round di finanziamenti.

Per capire perché questi “vector database” stiano divenendo così popolari da attrarre finanziamenti così ingenti è necessario comprendere il concetto di embedding. Un embedding è un vettore, ovverosia una lista di numeri, prodotto da un modello di AI che rappresenta un particolare concetto, sia esso del testo o un’immagine.

In uno spazio vettoriale è sempre possibile “misurare” la distanza tra due vettori e, se si dispone di una collezione concetti ordinarli per “vicinanza” rispetto ad un dato input.

Ad esempio in un database di film il termine “robot” potrebbe considerare “WALL-E” il concetto più vicino nonostante nel database non appaia il termine robot esplicitamente.

Se si dispone quindi di un modello capace di produrre gli embedding di informazioni in possesso dell’organizzazione è possibile organizzare la conoscenza dell’organizzazione in frammenti ricercabili per il loro significato, consentendo di trovare concetti espressi in una lingua a partire da richieste in un’altra, o un’immagine a partire da frammenti affini di un’altra.

Immagine che contiene testo, schermata, diagramma, CarattereDescrizione generata automaticamente

Questi sistemi consentono, in un’organizzazione più ordinaria dei dati con oggetti rappresentati da liste di proprietà con associati i valori, di beneficiare dei modelli di AI disponibili sia online, come quelli di Google o di OpenAI, oppure liberamente disponibili su Hugging Face o con modelli rilasciati come LLaMa2.

Opportuni moduli (vectorizer modules) sono responsabili di interrogare il modello per ottenere il vettore che ne rappresenti il concetto. Il database offre quindi operatori per operare sui vettori per trovare elementi affini al significato di una particolare interrogazione.

In effetti questi database sono sempre più spesso usati come una sorta di memoria a lungo termine in cui memorizzare i frammenti di conoscenza da ricercare al fine di generare un prompt, superando quindi il limite alla conoscenza che si può esprimere in un prompt di un modello LLM.

Valorizzare la conoscenza

La possibilità di cercare nelle informazioni in modo più “semantico” consente di valorizzare le conoscenze di un’organizzazione, anche piccola, senza dover costruire enormi collezioni di dati che consentano l’addestramento di un modello. In ogni caso l’idea di “pagare” per l’uso di dati in possesso di organizzazioni per l’addestramento sembra offrire una via alternativa al ricorso al “fair use” per l’uso di informazioni acquisite navigando Internet.

Non bisogna dimenticare il parziale fallimento dell’iniziativa big data dieci anni fa: molte organizzazioni, nonostante gli investimenti, non sono riusciti ad estrarre valore dai propri dati.

È difficile capire l’impatto che avrà sul business l’applicazione di questi nuovi modelli, e sicuramente la scarsità di competenze per far fruttare queste architetture potrebbe ridurre il valore potenzialmente generabile a partire dalla propria conoscenza.

Vedremo come la crescita di questi strumenti contribuiranno a sviluppare nuove organizzazioni, sicuramente è il momento di non limitarsi a fare domande ai modelli LLM ma capire come arricchirli di conoscenza esterna.

 

EU Stories - La coesione innova l'Italia

Tutti
INIZIATIVE
ANALISI
PODCAST
L'ANALISI
Video&podcast
Analisi
VIDEO&PODCAST
Video & Podcast
Social
Iniziative
IL PROGETTO
5GMed, ecco i quattro casi d’uso per la mobilità europea
L'APPELLO
Banda 6GHz chiave di volta del 6G: le telco europee in pressing su Bruxelles
EU COMPASS
Tlc, l’Europa adotta la linea Draghi: ecco la “bussola” della nuova competitività
ECONOMIE
EU Stories, il podcast | Politica industriale in Puglia: attrazione di talenti creativi e investimenti esteri grazie ai fondi di coesione
L'APPROFONDIMENTO
La coesione è ricerca e innovazione. Long form sugli impatti del FESR 2014-2020 nel quadro della Strategia di Specializzazione Intelligente a favore della ricerca e dell’innovazione
L'APPROFONDIMENTO
Pnrr e banda ultralarga: ecco tutti i fondi allocati e i target
L'ANNUARIO
Coesione e capacità dei territori
INNOVAZIONE
EU Stories | Dalla produzione industriale a fucina di innovazione: come il Polo universitario della Federico II a San Giovanni a Teduccio ha acceso il futuro
L'INIZIATIVA
DNSH e Climate proofing: da adempimento ad opportunità. Spunti e proposte dal FORUM PA CAMP Campania
INNOVAZIONE
EU Stories, il podcast | Laboratori Aperti: riqualificazione e innovazione in 10 città dell’Emilia-Romagna
Da OpenCoesione 3.0 a Cap4City: ecco i progetti finanziati dal CapCoe.  Il podcast “CapCoe. La coesione riparte dalle persone”
Capacità amministrativa e coesione: il binomio vincente per lo sviluppo dei territori
FORUM PA PLAY: come unire sostenibilità e investimenti pubblici. Speciale FORUM PA CAMP Campania
Scenari
Il quadro economico del Sud: tra segnali di crescita e nuove sfide
Sostenibilità
Lioni Borgo 4.0: un passo verso la città del futuro tra innovazione e sostenibilità
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
IL PROGETTO
5GMed, ecco i quattro casi d’uso per la mobilità europea
L'APPELLO
Banda 6GHz chiave di volta del 6G: le telco europee in pressing su Bruxelles
EU COMPASS
Tlc, l’Europa adotta la linea Draghi: ecco la “bussola” della nuova competitività
ECONOMIE
EU Stories, il podcast | Politica industriale in Puglia: attrazione di talenti creativi e investimenti esteri grazie ai fondi di coesione
L'APPROFONDIMENTO
La coesione è ricerca e innovazione. Long form sugli impatti del FESR 2014-2020 nel quadro della Strategia di Specializzazione Intelligente a favore della ricerca e dell’innovazione
L'APPROFONDIMENTO
Pnrr e banda ultralarga: ecco tutti i fondi allocati e i target
L'ANNUARIO
Coesione e capacità dei territori
INNOVAZIONE
EU Stories | Dalla produzione industriale a fucina di innovazione: come il Polo universitario della Federico II a San Giovanni a Teduccio ha acceso il futuro
L'INIZIATIVA
DNSH e Climate proofing: da adempimento ad opportunità. Spunti e proposte dal FORUM PA CAMP Campania
INNOVAZIONE
EU Stories, il podcast | Laboratori Aperti: riqualificazione e innovazione in 10 città dell’Emilia-Romagna
Da OpenCoesione 3.0 a Cap4City: ecco i progetti finanziati dal CapCoe.  Il podcast “CapCoe. La coesione riparte dalle persone”
Capacità amministrativa e coesione: il binomio vincente per lo sviluppo dei territori
FORUM PA PLAY: come unire sostenibilità e investimenti pubblici. Speciale FORUM PA CAMP Campania
Scenari
Il quadro economico del Sud: tra segnali di crescita e nuove sfide
Sostenibilità
Lioni Borgo 4.0: un passo verso la città del futuro tra innovazione e sostenibilità
Podcast
Centro Servizi Territoriali: uno strumento per accompagnare gli enti nell’attuazione della politica di coesione. Il podcast “CapCoe. La coesione riparte dalle persone”
Podcast
EU Stories, il podcast | Politiche di coesione e comunicazione: una sinergia per il futuro
Opinioni
La comunicazione dei fondi europei da obbligo ad opportunità
eBook
L'analisi della S3 in Italia
Norme UE
European Accessibility Act: passi avanti verso un’Europa inclusiva
Agevolazioni
A febbraio l’apertura dello sportello Mini Contratti di Sviluppo
Quadri regolamentari
Nuovi Orientamenti sull’uso delle opzioni semplificate di costo
Coesione
Nuovo Bauhaus Europeo (NEB): i premi che celebrano innovazione e creatività
Dossier
Pubblicato il long form PO FESR 14-20 della Regione Sicilia
Iniziative
400 milioni per sostenere lo sviluppo delle tecnologie critiche nel Mezzogiorno
Formazione
“Gian Maria Volonté”: dalle aule al mondo del lavoro, focus sui tirocini della Scuola d’Arte Cinematografica
TRANSIZIONE ENERGETICA
Il ruolo del finanziamento BEI per lo sviluppo del fotovoltaico in Sicilia
Formazione
“Gian Maria Volonté”: dalla nascita ai progetti futuri, focus sulla Scuola d’Arte Cinematografica. Intervista al coordinatore Antonio Medici
MedTech
Dalla specializzazione intelligente di BionIT Labs una innovazione bionica per la disabilità
Finanza sostenibile
BEI e E-Distribuzione: investimenti per la sostenibilità energetica
Professioni
Servono competenze adeguate per gestire al meglio i fondi europei
Master
Come formare nuove professionalità per governare e gestire al meglio i fondi europei?
Programmazione UE
Assunzioni per le politiche di coesione: prossimi passi e aspettative dal concorso nazionale. Il podcast “CapCoe. La coesione riparte dalle persone”
innovazione sociale
Rigenerazione urbana: il quartiere diventa un hub dell’innovazione. La best practice di San Giovanni a Teduccio
Programmazione europ
Fondi Europei: la spinta dietro ai Tecnopoli dell’Emilia-Romagna. L’esempio del Tecnopolo di Modena
Interventi
Riccardo Monaco e le politiche di coesione per il Sud
Iniziative
Implementare correttamente i costi standard, l'esperienza AdG
Finanziamenti
Decarbonizzazione, 4,8 miliardi di euro per progetti cleantech
Formazione
Le politiche di Coesione UE, un corso gratuito online per professionisti e giornalisti
Interviste
L’ecosistema della ricerca e dell’innovazione dell’Emilia-Romagna
Interviste
La ricerca e l'innovazione in Campania: l'ecosistema digitale
Iniziative
Settimana europea delle regioni e città: un passo avanti verso la coesione
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
EuroPCom 2024: innovazione e strategia nella comunicazione pubblica europea
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati