Entro dicembre il nuovo Gpt: ecco cosa sappiamo e cosa no

Il nuovo modello di Gpt, successore della quarta versione, uscirà entro dicembre, nome in codice Orion, secondo fonti di The Verge

l nuovo modello di Gpt, successore della quarta versione, uscirà entro dicembre, nome in codice Orion, secondo fonti di The Verge. Potrebbe essere chiamato Gpt 5 – come ipotizzato finora – o avere un altro nome. In ogni caso sarà piuttosto diverso dal Gpt che conosciamo finora e non solo per potenza e qualità. Vediamo tutto quello che sappiamo e i punti ancora oscuri.

Con il nuovo modello, OpenAI vuole festeggiare i due anni dal debutto di Chatgpt al pubblico.

A differenza di quanto fatto finora, però, “Orion” non sarà inizialmente rilasciato tramite ChatGpt. Secondo The Verge, Open darà accesso prima alle aziende con cui lavora a stretto contatto, che potranno quindi vedere le funzionalità del nuovo Gpt in anteprima e cominciare a integrarlo nei propri sistemi e flussi di lavoro.

Una mossa prudente, per preparare al meglio il debutto del modello in grande stile (e al grande pubblico). Obiettivo: massimizzare l’efficacia per la produttività aziendale e limitare al massimo i difetti.

Un binario parallelo verrà da Microsoft – il principale partner di OpenAI per la distribuzione di modelli di intelligenza artificiale – com’è stato finora (Gpt è nel suo Copilot). Microsoft ospiterà Orion su Azure già a novembre.

OpenAI stima che il modello sarà fino a 100 volte più potente di GPT-4. Sarà comunque separato dal modello di ragionamento o1 che OpenAI ha rilasciato a settembre. In futuro OpenAI potrà riunire i vari modelli per arrivare a un large language model generale. È il sogno dell’Agi (una super intelligenza artificiale in grado di equiparare o battere i migliori umani in tutti i campi) che secondo Sam Altman, fondatore di OpenAI, è distante solo pochi anni da noi.

In precedenza si era appreso che OpenAI stava usando o1, nome in codice Strawberry, per fornire dati sintetici (ossia creati dalla stessa IA) per addestrare Orion.

Sam Altman a settembre aveva twittato dicendo di essere “entusiasta che le costellazioni invernali sorgano presto”. Le costellazioni invernali sono le stelle di Orione. Le tempistiche insomma tornano.

Altman ha fatto molte dichiarazioni quest’anno in eventi pubblici sui futuri modelli. Due i punti chiave evidenziati. Altman ha sempre detto che Gpt-5 sarà “molto più intelligente” di GPT-4, che ha definito “il modello più stupido” che le persone utilizzeranno mai di nuovo. Crede che ogni nuova iterazione, incluso Gpt-6, continuerà a migliorare in modo significativo rispetto alla precedente.

Altman ha riconosciuto che GPT-4 aveva notevoli carenze, in particolare nel ragionamento e nell’affidabilità. Vedi alla voce “allucinazioni”. “Se si pone a GPT-4 la maggior parte delle domande diecimila volte, una di queste sarà probabilmente abbastanza buona, ma non sa sempre quale; vorremmo ottenere ogni volta la migliore risposta su diecimila, quindi l’aumento dell’affidabilità sarà importante”, ha detto Altman.

Altman ha dichiarato che GPT-5 mira a correggere molti di questi problemi, come commettere meno errori di base che nemmeno un bambino farebbe. Il ragionamento è uno dei principali punti deboli di un’IA generativa al momento. OpenAI se ne è occupato soprattutto con l’ultima versione, la o1, pensata per affrontare problemi scientifici e matematici. Il modello, a differenza degli altri, è progettato per riflettere molto sulla domanda prima di formulare una risposta; migliora così la qualità dell’output ma aumenta al tempo stesso il dispendio computazionale. È infatti più costoso da usare.

“Forse le aree di progresso più importanti riguarderanno la capacità di ragionamento”, ha detto Altman a Bill Gates in una recente intervista, riferendosi a GPT-5. “Al momento, GPT-4 può ragionare solo in modi estremamente limitati”.

Ciò che non sappiamo sono molte cose. Come OpenAI intende ottenere questi progressi, ad esempio. Finora molto è stato ottenuto in questo campo aumentando la quantità di dati e l’impegno computazionale, soprattutto. I dati disponibili per addestrare i modelli sono però prossimi a finire. Di qui la necessità di usare anche dati sintetici, che però hanno noti limiti rispetto a quelli creati da umani.

È possibile che OpenAI stia seguendo approcci diversi al training con i dati. Ad esempio, la comunità scientifica guarda con interesse all’uso di video o dati real-world multimediali-multimodali per migliorare la capacità dei modelli di creare un modello del mondo. Qualcosa che anche un bambino possiede e di cui l’IA manca, come detto (tra gli altri) da Dario Amodei, fondatore di Anthropic e da Yann Lecun, il capo dell’AI di Meta.

Secondo LeCun, la vera intelligenza, come quella umana, richiede una comprensione incarnata del mondo e la capacità di ragionare e pianificare pensieri e azioni usando questa comprensione. Laddove invece Gpt e modelli analoghi si limitano a generare testo o dati un pezzo dopo l’altro, con un modello statistico basato sulle probabilità, senza un collegamento con il mondo reale.

Un altro limite intrinseco nell’IA generativa è l’assenza di memoria persistente e la duttilità del cervello umano, che si adatta di continuo a nuovi stimoli e informazioni. Gli esperti suggeriscono anche nuovi approcci alle reti neurali e all’addestramento per affrontare questi limiti. Non sappiamo quanto di tutto questo sarà nel nuovo modello di Gpt.

Ci sono pochi dubbi invece che Altman getterà ancora più potenza di calcolo in pasto a questi modelli, per il training (e potrebbe anche aumentare quella necessaria per le inferenze, ossia per generare gli output agli utenti, come visto con la versione o1). Ossia più e più potenti chip grafici da comprare a caro prezzo e poi da usare con alto dispendio di energia elettrica.

Secondo Amodei “produrre” gli attuali modelli costa 100 milioni di dollari. I prossimi andranno sul miliardo.

Altman ha sempre detto che, per l’obiettivo Agi, non baderà a spese. Ha appena chiuso del resto un round record di finanziamento, per 6,6 miliardi di dollari. Per quell’obiettivo Altman è disposto anche a cambiare OpenAI alla base. L’ultimo round la obbliga però a cambiare la struttura societaria da no profit a for profit. Importanti tasselli del suo staff, anche alla luce di queste novità, stanno lasciando. Da ultimi la cto Mira Murati e il capo della ricerca Bob McGrew.