Intelligenza artificiale

Ollama: come eseguire modelli di AI generativa su più piattaforme



Indirizzo copiato

Ollama è un sistema che consente di sperimentare con i modelli di AI generativa senza troppo sforzo, permettendo la gestione e l’esecuzione di modelli di AI con applicazioni che spaziano dall’analisi di immagini alla generazione di codice. Ecco come funziona

Pubblicato il 21 mag 2024

Antonio Cisternino

Università di Pisa



ollama

Ormai è sempre più difficile tenere traccia dei modelli LLM o comunque generativi con annunci che continuamente spostano l’attenzione promettendo prestazioni mirabolanti (che spesso deludono nella realtà di tutti i giorni). È quindi importante cercare di capire come si possa familiarizzare l’esecuzione di questi modelli fino a realizzare sistemi autonomi completamente offline basati su AI generativa.

Mi sono avventurato lungo questa strada per assicurarmi che il sistema OpenSource che ho sviluppato (Oraculum) potesse funzionare anche offline, magari su dispositivi molto piccoli come, ad esempio, il nuovo Raspberry Pi 5.

Ollama - Local Models on your machine

Il progetto Ollama: una soluzione universale

Tra gli innumerevoli progetti open source capaci di eseguire modelli in vari formati troviamo uno decisamente degno di nota, capace di eseguire su tutte le piattaforme, da Windows a Mac, a Linux, e anche dal grande server fino al Raspberry Pi: ollama.

Il progetto, costruito sul motore di esecuzione di modelli basati sull’architettura Transformers llama.cpp, offre un’incredibile semplicità d’uso sia attraverso una command line che mediante una buona implementazione dell’API di OpenAI. Gli annunci sul sito si susseguono, recentemente è stato aggiunto il supporto per le schede grafiche AMD ed è in arrivo anche per la piattaforma embedded di nvidia Jetson, molto popolare nel settore della robotica.

Degno di nota è l’aggiunta recente del supporto per i modelli di embeddings, modelli molto popolari per calcolare i vettori che i Vector database come Weaviate usano per indicizzare i record; questa novità include non solo l’abilità di eseguire questa particolare tipologia di modelli ma anche l’aggiunta del supporto all’API compatibile con gli endpoint /v1/embeddings di OpenAI.

Come installare ollama

L’installazione del sistema è veramente semplice, su Windows e Mac si tratta di eseguire installer standard, mentre su Linux è sufficiente eseguire la seguente riga di comando:

curl -fsSL https://ollama.com/install.sh | sh

L’installer per linux funziona su tutte le piattaforme che ho provato, incluso Raspian, la variante del sistema operativo in esecuzione su Raspberry Pi. Se si vuole provare l’ebbrezza di eseguire un LLM su un piccolo dispositivo come il Raspberry si raccomanda comunque una versione con almeno 8GB di RAM altrimenti sarà la memoria a rappresentare il vero collo di bottiglia dell’esecuzione.

Al termine dell’installazione sarà disponibile un servizio sulla propria macchina che ascolta sulla porta TCP 11434 dell’indirizzo 127.0.0.1 (ovverosia è accessibile solo localmente). Il server supporta le API di OpenAI, è quindi possibile utilizzare una delle numerose librerie già disponibili per GPT e semplicemente cambiando l’indirizzo del servizio consentire l’esecuzione delle proprie applicazioni AI sulla macchina locale.

Usare ollama

Il funzionamento di ollama è molto semplice anche se richiede un po’ di familiarità con la riga di comando. La convenzione della command line (CLI) è quella a cui ci hanno abituato sistemi come docker: il comando accetta vari sottocomandi passati come argomenti alla linea di comando per poter operare. Se eseguiamo il comando ollama otteniamo naturalmente una breve descrizione dei comandi disponibili:

Il comando serve è di fatto avviato automaticamente e corrisponde al servizio di cui abbiamo già parlato. I comandi più utili sono quindi runpulllistrm che rispettivamente consentono di eseguire (e scaricare contestualmente qualora i file non siano disponibili localmente), scaricare, mostrare e rimuovere i modelli ottenuti dal catalogo online:

https://ollama.com/library

Quando si esegue un particolare modello (ad esempio mistral) è facile verificare l’uso delle risorse: sul mio laptop Windows con una GPU nVidia è facile vedere come un modello 7B stia all’interno della memoria video:

Siamo quindi pronti ad eseguire un modello e fornire il prompt a riga di comando:

L’esperienza che abbiamo maturato in pochi mesi rende abbastanza semplice formulare prompt che producano risposte interessanti e forniscano informazioni sul comportamento del particolare modello.

Come si può osservare anche la capacità di parlare italiano varia da modello a modello così come variano le sue prestazioni. Nell’esempio il prompt italiano è stato perfettamente compreso ma l’output è in inglese.

L’analisi delle immagini

Possiamo quindi passare il percorso a un’immagine jpeg da analizzare, come ad esempio la seguente:

L’analisi effettuata dal modello è decisamente impressionante, anche tenendo conto del fatto che si tratta di una foto che ho scattato e sicuramente non può essere parte dei dati di addestramento:

La generazione di codice

Oltre ai modelli orientati al linguaggio naturale, troviamo modelli come codellama, codegemmasqlcoder, ovverosia modelli addestrati per generare codice. È possibile utilizzare questi modelli per analizzare programmi, o generare nuovi programmi con una ragionevole qualità.

L’opzione –verbose del comando run consente di mostrare le statistiche di esecuzione che possono aiutare ad ottenere delle informazioni sulle prestazioni nel restituire il risultato.

È curioso come lo stesso modello possa rispondere sia in italiano che in inglese, e è facile osservare come i modelli più piccoli (in questo caso gemma 2B) tendano a rispondere in modo più fantasioso:

Le prestazioni su Raspberry Pi 5

L’esecuzione di ollama su Raspberry Pi assomiglia in tutto e per tutto a quella su un PC o su un server, anche se le prestazioni sono ovviamente inferiori rispetto ad altri sistemi. Il modello Gemma 2B esegue in modo sufficientemente rapido, nonostante l’esiguità delle risorse di calcolo disponibili. Se proviamo a caricare modelli più grandi le prestazioni degradano significativamente (ho testato su Raspberry Pi 5 con 8GB di RAM). È inoltre difficile eseguire sul Raspberry sia il modello che il codice che lo usa, per ora è quindi più realistica l’esecuzione su un “cluster” di Raspberry Pi piuttosto che su un sistema singolo: su un nodo viene eseguito il modello, mentre su un altro esegue il codice che mediante l’API usa i suoi servizi.

Conclusioni

Ollama è un sistema che consente di sperimentare con i modelli di AI generativa senza troppo sforzo. Grazie all’eccellente implementazione dell’API di OpenAI è possibile integrare modelli arbitrari in sistemi già scritti, consentendo la realizzazione di sistemi capaci di eseguire localmente.

Il framework supporta sempre più acceleratori per i calcoli (per ora non sono supportate le NPU che gli AI PC renderanno decisamente disponibili, ma ritengo si tratti solo di una questione di tempo). Grazie a progetti come questo è possibile sperimentare senza perdersi dietro ad incredibili quantità di documenti e righe di comando Python.

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4