Richard Sutton varnar att beräkningskraft ensamt inte räcker för intelligens

breadboard wiring — Victor Aznabaev / Unsplash

Richard Sutton, skaparen av konceptet den bittra läxan, har uttalat att vetenskapen kring artificiell intelligens är långt ifrån sitt mål. Han menar att ren beräkningskraft inte är tillräcklig för att uppnå intelligens och att det krävs nya och smarta metoder.

Sutton har tidigare argumenterat för att metoder som kan skalas med beräkningskraft överträffar mänskliga specialutvecklingar. Han har dock kritiserat gränserna för att enbart skala upp stora språkmodeller och beskrivit användningen av syntetiska data som ett stort misstag. Enligt Sutton är den verkliga världen för komplex för att simuleras i mikroskopisk skala och mänsklig expertis utgör en flaskhals för verklig skalning.

Som alternativ förespråkar Sutton agenter med världsmodeller som kan lära sig kontinuerligt genom egen erfarenhet. Han påpekar att dagens språkmodeller inte fortsätter att lära sig efter att träningen är klar, vilket han anser vara nödvändigt utan att tidigare kunskap går förlorad.

Jerry Tworek, en tidigare forskare vid OpenAI, menar att algoritmen blir allt viktigare i takt med att mer beräkningskraft används. Han hävdar att en felaktig tolkning av den bittra läxan och framgångarna med Transformer-skalning har vilselett en hel generation forskare. Tworek leder nu Core Automation, ett företag som söker lärandealgoritmer bortom förstärkningsinlärning och förträning.

Jayden Teoh tillför att akademisk forskning ofta har hindrats eftersom lovande idéer avfärdats för att de inte anses följa den bittra läxan. Han menar att en idé inte behöver skala för evigt för att vara ett viktigt bidrag till framstegen.

Andra ledare inom industrin har en annan syn. Sam Altman från OpenAI anser att skalningen av stora språkmodeller inte är utnyttjad fullt ut och menar att data talar för fortsatt skalning. Dario Amodei från Anthropic beskriver skalningsframstegen som en regnbåge utan slut.