Una breve guida per capire cosa è un LLM (modello linguistico di grandi dimensioni)
Alcuni li chiamano pappagalli. Altri, “camaleonti linguistici”. Il concetto però è lo stesso: i modelli di intelligenza artificiale di nuova generazione, quelli che generano testo (come Chatgpt) hanno imparato a imitare il linguaggio umano grazie a una quantità enorme si esempi. Di imitazione per esempio si tratta, insomma, sorretta a calcoli matematici e di probabilità; senza che ci sia una reale comprensione di ciò che stanno generando. Sono pappagalli, al più; non esseri umani, in fondo.
È però un processo complesso che inizia con il training e culmina nella generazione finale del contenuto. Questo processo richiede risorse significative, sia in termini di hardware che di energia.
Il training di un modello AI avviene attraverso l’analisi di enormi quantità di dati testuali. Per addestrare un modello come Gpt-4, ad esempio, si utilizzano miliardi di frasi e documenti provenienti da diverse fonti. Questi dati sono pre-processati per rimuovere rumori e formattazioni non necessarie. Così il modello può apprendere le strutture linguistiche e i contesti.
Durante il training, il modello è alimentato in tante fasi e i suoi parametri ottimizzati per ridurre la differenza tra il testo generato e quello desiderato.
Questo processo richiede l’uso di reti neurali (in particolare architetture note come transformer), progettate proprio per gestire grandi volumi di dati e apprendere relazioni complesse tra le parole. Durante questa fase c’è anche una parte importante di lavoro umano per ottimizzare il risultato finale e ridurre il rischio di utilizzi pericolosi (come usare l’AI per costruire una bomba).
Le risorse hardware impiegate nel training sono notevoli. I moderni modelli AI utilizzano chip specializzati, noti come chip AI, in grado di eseguire operazioni di machine learning (“apprendimento macchina”) in modo più efficiente rispetto ai chip tradizionali. Questi chip possono elaborare molte operazioni in parallelo e quindi accelerano di parecchio il tempo necessario per addestrare i modelli.
Prendiamo Gpt-4, il modello alla base dell’attuale Chatgpt, dell’azienda americana OpenAi. Secondo alcuni recenti, il suo training equivale al consumo energetico annuale di circa 160 famiglie americane; un terzo in più rispetto al modello precedente (Gpt-3). Il costo del training è stimato di alcune decine di milioni di dollari (dieci volte rispetto a Gpt-3), per i chip e l’energia utilizzata, oltre che per i salari degli ingegneri che ci hanno lavorato.
Una volta completato il training, il modello è pronto per la generazione del testo. Quando un utente fornisce un input (un “prompt”), il modello utilizza le informazioni apprese durante il training per generare una risposta coerente e contestualmente rilevante. Questo processo è relativamente meno dispendioso in termini energetici rispetto al training; ad esempio, secondo uno studio dell’anno scorso, generare testo per mille volte consuma solo il 16% dell’energia necessaria per caricare completamente uno smartphone.
Il quadro però sta cambiando: alcuni modelli usciti negli ultimi mesi hanno aumentato molto il costo di generazione perché l’hanno reso più lungo e complesso. Sono i modelli cosiddetti di “ragionamento”, come o1 e o3 di OpenAI. Invece di generare subito una risposta, infatti, valutano diverse opzioni possibili; come se “ci pensassero” bene prima di rispondere.
In generale, è importante notare che l’intero processo che porta alla generazione testo con AI richiede una notevole quantità di energia e risorse hardware. Ne deriva anche un impatto ambientale importante.
Le emissioni di CO2 associate al training dei modelli AI possono essere paragonabili a quelle generate da veicoli che percorrono lunghe distanze, secondo varie stime.
È vero che le aziende rendono il processo di training sempre più efficiente (minori consumi e sforzo di calcolo per avere gli stessi, o migliori, performance); la maggior parte degli esperti prevede però un aumento di costi e consumi con i prossimi grandi modelli. Il capo di Anthropic (una delle più note aziende AI) Dario Amodei stima che nel 2025 avremo il primo modello AI costato un miliardo di dollari per il training. È possibile che in parallelo arriveranno modelli più economici (come la cinese Deepseek), che però hanno bisogno di aumentare il costo finale di generazione testo (analogamente a o1 e o3), anche per compensare la loro maggiore semplicità di base.
This article was downloaded by calibre from https://www.ilsole24ore.com/art/training-api-e-costi-come-funziona-modello-ai-che-genera-testo-AGyVcmeC
| Menu Sezione | Menu principale |
Leave a Reply