Studio rivela che i passaggi logici dei modelli di intelligenza artificiale sono distinguibili nelle loro rappresentazioni interne

Una ricerca condotta da scienziati del KAIST e del Naver AI Lab ha dimostrato che i diversi passaggi logici eseguiti da un modello linguistico durante la risoluzione di un problema sono chiaramente distinguibili all'interno delle sue rappresentazioni numeriche interne. Lo studio si è concentrato su come i modelli di ragionamento elaborano le informazioni, analizzando se le operazioni mentali visibili nel testo generato corrispondano a stati interni specifici e separabili. I risultati indicano che è possibile identificare con precisione quale tipo di operazione il modello sta eseguendo in un dato momento, indipendentemente dal testo finale prodotto.

I ricercatori hanno definito otto operazioni di pensiero ricorrenti, tra cui l'estrazione di dati, la scomposizione del problema, il richiamo di formule, la deduzione e il calcolo. Per testare la separabilità di queste operazioni, hanno fatto risolvere problemi matematici a tre modelli specifici: Qwen2.5-7B, Qwen3-8B e Gemma4-31B. I percorsi di soluzione sono stati suddivisi in sezioni e ogni sezione è stata classificata da GPT-5 in una delle operazioni definite. L'analisi ha mostrato che le rappresentazioni interne delle diverse operazioni si separano nettamente in tutti e tre i modelli, con la distinzione più marcata nelle strati intermedi della rete neurale.

Per verificare che la separazione non dipendesse solo dalla scelta delle parole, i ricercatori hanno confrontato l'analisi delle rappresentazioni interne con un classificatore basato esclusivamente sui token utilizzati. Il classificatore basato sui token ha ottenuto risultati inferiori, confermando che gli stati interni contengono informazioni sulla natura del passaggio logico che vanno oltre il semplice lessico. Inoltre, la posizione di una sezione all'interno del percorso di soluzione non spiega l'effetto osservato. Anche parole funzionali comuni, come articoli o verbi ausiliari, mostrano rappresentazioni diverse a seconda dell'operazione di pensiero in corso, specialmente negli strati intermedi e successivi, mentre restano mescolate negli strati iniziali.

Gli esperimenti hanno rivelato che un passaggio logico non si forma in isolamento. Quando l'attenzione del modello sui trentadue token precedenti è stata bloccata artificialmente, il segnale relativo all'operazione specifica si è indebolito. Questo indica che il contesto precedente influenza la rappresentazione interna del passaggio corrente. La ricerca ha anche mostrato che, anche quando il modello commette un errore nel calcolo, la rappresentazione interna del passaggio continua a somigliare a quella di un'operazione di calcolo, piuttosto che a quella di un'altra operazione. La capacità di distinguere i passaggi logici è stata replicata anche con il modello Llama-3-8B e i classificatori addestrati su Qwen3-8B hanno funzionato su altri set di dati come GPQA-Diamond e MATH-500.

Lo studio sottolinea l'importanza di questi risultati per la sicurezza, poiché la capacità di leggere la catena di ragionamento è uno dei pochi strumenti di controllo disponibili. Anthropic ha mostrato che i modelli rivelano gli indizi utilizzati solo nel 25-39% dei casi. Inoltre, un metodo che traduce i vettori interni in testo leggibile ha rivelato che Claude Opus 4.6 elabora più informazioni di quelle presenti nel ragionamento visibile. Per il modello Astra di OpenAI, la tecnica Recurrent Depth sposta parte del ragionamento nelle rappresentazioni numeriche interne, esattamente dove lo studio del KAIST ha osservato la maggiore separabilità. Sebbene gli esperimenti si limitino a problemi matematici e a pochi modelli, la possibilità di utilizzare queste scoperte per rilevare errori o controllare il modello durante la risposta rimane un'area aperta per future indagini.