Il premio Nobel per la fisica assegnato a Hopfield e Hinton per le loro scoperte fondamentali nell’apprendimento automatico delle reti neurali artificiali e la loro connessione con la fisica. Alla base ci sono lavori pionieristici realizzati intorno alla metà del secolo scorso che, sulla base della neurofisiologia del cervello, proposero dei modelli matematici sempre più complessi
di Luca Mari
Il premio Nobel per la fisica è stato assegnato quest’anno a John Hopfield e Geoffrey Hinton “per scoperte e invenzioni fondazionali che abilitano l’apprendimento automatico nelle reti neurali artificiali”. Questa motivazione non è così esplicativa, e questo non tanto perché, come altre volte è accaduto, per comprendere il senso stesso del contributo dei vincitori del premio occorrono conoscenze specifiche nel loro campo di lavoro, ma perché non è chiaro cosa c’entri l’apprendimento automatico – l’abituale traduzione in italiano di “machine learning” – con la fisica. La spiegazione successiva non è ancora sufficiente a spiegare: “Hopfield ha creato una struttura in grado di memorizzare e ricostruire informazione. Hinton ha inventato un metodo in grado di scoprire proprietà in insiemi di dati e che è diventato importante per le reti neurali di grandi dimensioni oggi diffuse.”
Nell’evento in cui è stato annunciato il premio, è stato anche detto che “i due premiati hanno usato concetti della fisica fondamentale per progettare reti neurali artificiali, che sono state usate per l’avanzamento della ricerca in vari campi della fisica, oltre che in applicazioni della vita quotidiana.” Certo, ma la connessione con la fisica continua ad apparire un poco debole.
Ovviamente le informazioni disponibili non sono ancora sufficienti per sciogliere questi dubbi, ma possiamo avanzare qualche ipotesi, e con ciò cercare di accennare ad alcune possibili relazioni fondamentali tra quella tecnologia che stiamo chiamando “intelligenza artificiale” e la fisica.
Alla base di tutto ciò ci sono lavori pionieristici realizzati intorno alla metà del secolo scorso, che, sulla base delle conoscenze allora disponibili sulla neurofisiologia del cervello, proposero dei modelli matematici, dapprima del comportamento di singoli neuroni e poi, progressivamente, di reti di neuroni, sempre più complessi e capaci di comportamento sempre più sofisticato. Con il miglioramento delle tecnologie elettroniche, questi modelli furono presto implementati, inizialmente in forma di circuiti elettronici e poi come sistemi software, simulando così il comportamento di reti neurali biologiche. La sfida era, ed è, evidente: se ogni singolo neurone è un sistema relativamente semplice e dal comportamento non intelligente, e nonostante ciò una rete di tali unità elementari di elaborazione può esibire un comportamento intelligente, quali sono le condizioni che rendono possibile questa trasformazione?
Nel lavoro fondativo di Hopfield e Hinton possiamo identificare tre elementi basilari e complementari per una risposta.
Primo. Negli anni ottanta del secolo scorso, Hopfield propose una struttura di rete neurale artificiale, ispirata a un sistema fisico di particelle, capace di modificare il suo stato in modo da ricostruire informazioni complete a partire da dati parziali o affetti da rumore. Un sistema di questo genere è perciò in grado di operare, di principio, per schemi (in inglese: pattern) e per esempio riconoscere correttamente un oggetto che pure non aveva mai visto a partire da esempi simili che gli erano stati sottoposti in precedenza. È dunque un sistema che opera non per memorizzazione ma per apprendimento: in embrione quello che oggi chiamiamo “capacità di generalizzazione” e che è in azione in ogni chatbot quando vediamo che sa rispondere a domande che, del tutto plausibilmente, nessuno prima gli aveva mai posto.
Secondo. Nel lavoro di Hopfield e Hinton ha un ruolo determinante l’idea che un’entità complessa come una rete neurale può essere interpretata come un sistema che evolve cercando di minimizzare una funzione “di costo”, che potrebbe essere l’energia nel caso di sistemi fisici e l’errore, cioè la differenza tra la risposta che si ritiene corretta e la risposta data dal sistema, nel caso delle reti neurali artificiali. In effetti, l’idea di ottimizzare una funzione di errore è alla base dell’addestramento delle attuali reti neurali artificiali, come quella che abilita ChatGPT. L’ottimizzazione delle connessioni di una rete, che modellano le sinapsi tra i neuroni, attraverso l’algoritmo noto come retropropagazione (in inglese: back-propagation) è una forma di minimizzazione, e alla formulazione di tale algoritmo Hinton ha dato un contributo determinante con un suo articolo del 1986.
Infine, le reti neurali che quarant’anni fa Hopfield e Hinton contribuirono a progettare sono sistemi dinamici, e quindi hanno una memoria che si può modificare non solo nel loro addestramento, ma anche durante il loro funzionamento. Fino a pochi anni fa erano studiate, sviluppate e usate varie architetture di reti neurali artificiali, e alcune di queste (come le reti neurali ricorrenti, RNN) mantenevano la caratteristica di essere sistemi dinamici. In un famoso articolo del 2017, Attention is all you need, sono stati introdotti i Transformer, una nuova architettura che almeno per ora è diventata dominante per la sua evidente efficacia, ma che, un po’ sorprendentemente, non contiene componenti dinamiche in funzionamento. Potrebbe essere che anche questa idea di Hopfield e Hinton sarà ripresa in una “prossima generazione” di reti neurali artificiali, forse anche allo scopo di ridurre la grande quantità di energia richiesta nel loro funzionamento?
Leave a Reply