KI · 14. oktober 2026
Forskning på LANN-4 viser begrensninger i akkumulert læring for små modeller
Det pågår et arbeid med å utvikle en ny arkitektur kalt LANN-4. Denne arkitekturen er tenkt som et nevralt nettverk som lærer gjennom hele sin eksistens, med en liten, uforandret kjerne og et eksternt minne. Selve arkitekturen er ennå ikke ferdigstilt eller bygget, men det utføres nå undersøkelser med små modeller som fungerer som testverktøy for å utforske konseptet.
Målet med prosjektet er å finne ut hvor mye nytte man kan få ut av modeller med strengt begrenset størrelse. Prinsippene for systemet innebærer at kunnskap og erfaring skal ligge i et separat eksternt minne fremfor å være integrert i selve modellen. Systemet skal kunne huske fortiden mellom oppgaver, lære nytt uten å glemme gammelt, og bruke nøyaktig så mye ressurser som hver oppgave krever.
I et eksperiment ble en liten modell testet gjennom fire runder med etterutdanning ved bruk av en eksamen bestående av 200 oppgaver. Forskerne sammenlignet tre metoder: en der modellen akkumulerte læring over tid, en der man startet med en ren modell i hver runde, og en uten læring for å måle tilfeldig støy. For å sikre resultatene ble reglene og oppgavene fastsatt på forhånd, og resultatene ble senere kontrollert av en annen person med ny kode.
Resultatene viste at andelen riktige svar i den akkumulerende modusen økte fra omtrent 53 prosent til 59 prosent etter den første runden. Etter dette stoppet veksten opp, og resultatene i de påfølgende rundene lå mellom 54 og 57 prosent. Den akkumulerende metoden ga ingen fordeler sammenlignet med å starte på nytt i hver runde, selv om den første forbedringen var reell og vedvarte gjennom alle fire rundene.
Det er foreløpig uklart om den innledende økningen skyldes at modellen faktisk lærte innholdet i de riktige løsningene, eller om den bare tilpasset seg formatet i koden. Det er bekreftet at eldre oppgaver ikke ble løst dårligere som følge av prosessen. Forskerne anser det negative resultatet som nyttig fordi det snevrer inn søket etter hvor evnen til å akkumulere kunnskap er nyttig.