Studie viser at tankeprosesser i kunstige intelligensmodeller kan avdekkes i interne tilstander

Forskere fra KAIST og Naver AI Lab har publisert en studie som dokumenterer at de ulike tankeoperasjonene et kunstig intelligensmodell utfører under problemløsning, kan identifiseres i modellens interne numeriske representasjoner. Resultatene viser at disse prosessene er tydelig adskilte i modellens interne lag, noe som gir innsikt i hvordan modellene strukturerer sin egen resonnementkjede.

Forskerne definerte åtte gjentagende tankeoperasjoner, blant annet uttrekk, oppdeling, henting av formler, deduksjon og beregning. De testet tre spesifikke modeller, Qwen2.5-7B, Qwen3-8B og Gemma4-31B, ved å la dem løse matematiske oppgaver. Hvert steg i løsningene ble analysert og tildelt en bestemt operasjonstype ved hjelp av GPT-5. Analysen avviste at forskjellene bare skyldtes ordvalg eller posisjonen i teksten, da en klassifisator basert på ordene alene presterer dårligere enn analysen av de interne tilstandene.

De interne representasjonene viser at samme ord får ulike betydninger avhengig av hvilken tankeoperasjon som er i gang. I de tidlige lagene er representasjonene for vanlige ord blandet, men i de midtre og senere lagene skiller de seg tydelig fra hverandre. Dette tyder på at modellene ikke bare behandler ord isolert, men at konteksten fra tidligere deler av teksten påvirker hvordan hvert ord behandles. Forsøkene viste også at tankeprosesser ikke oppstår isolert, men er avhengige av den umiddelbart foregående teksten.

Studien fant at modellene kan identifiseres som å utføre bestemte operasjoner selv når de løser oppgaver feil. En feilaktig beregning ligner internt på en korrekt beregning, selv om resultatet er galt. Disse funnene ble også bekreftet med modellen Llama-3-8B, og klassifisatorene fungerte på andre datasett som GPQA-Diamond og MATH-500. Forskerne understreker at studien begrenser seg til matematiske oppgaver og et begrenset antall modeller.

Spørsmålet om forholdet mellom den utskrevne teksten og den interne beregningen er av sikkerhetsmessig betydning. Ifølge OpenAI er muligheten til å lese resonnementkjeden ett av få tilgjengelige verktøy for kontroll. Anthropic har vist at modeller kun avdekker brukte ledetråder i 25 til 39 prosent av tilfellene. Et annet prosedyre som oversetter interne vektorer til lesbar tekst, viste at Claude Opus 4.6 behandler mer informasjon enn det som fremgår av den utskrevne resonnementteksten. For OpenAIs modell Astra flytter teknikken Recurrent Depth en del av resonnementet inn i de interne representasjonene, noe som er der denne studien fokuserer. Det er ikke klart om disse innsiktene kan brukes til å avdekke feil eller styre modellen under svaret, noe som krever videre forskning.