Richard Sutton avverte che la potenza di calcolo da sola non è sufficiente per l'intelligenza artificiale

An orange neon sign reading AI on a dark grey textured circuit board — Igor Omilaev / Unsplash

Richard Sutton, vincitore del Premio Turing, ha affermato che la sola potenza di calcolo grezza non è sufficiente per raggiungere l'intelligenza. Secondo Sutton, la scienza dell'intelligenza artificiale è ancora lontana dal suo obiettivo e necessita di nuovi metodi intelligenti.

Nel suo saggio del 2019, intitolato La lezione amara, Sutton aveva sostenuto che i metodi generali che scalano con la potenza di calcolo prevalgono nel lungo termine rispetto allo sviluppo di specializzazioni umane raffinate. Egli ha sottolineato l'importanza di idee che crescono insieme alla potenza di calcolo, invece di basarsi su presupposti umani.

Sutton ha criticato i limiti della semplice scalabilità dei grandi modelli linguistici, definendo i dati sintetici un grande errore. Egli sostiene che il mondo reale sia infinitamente complesso e che ogni simulazione sia microscopica. Per superare il collo di bottiglia rappresentato dall'esperienza umana, Sutton propone agenti dotati di modelli del mondo che apprendano continuamente dalla propria esperienza, poiché i modelli linguistici attuali non continuano ad apprendere dopo l'addestramento.

Jerry Tworek, ex ricercatore di OpenAI, osserva che mentre la lezione amara rimane valida, l'algoritmo diventa più importante man mano che aumenta la potenza di calcolo dedicata all'addestramento. Tworek ritiene che il successo temporaneo della scalabilità dei Transformer e una interpretazione errata della lezione amara abbiano confuso un'intera generazione di scienziati. Tworek guida ora Core Automation, un laboratorio che ricerca algoritmi di apprendimento oltre il preaddestramento e l'apprendimento per rinforzo.

Jayden Teoh ha aggiunto che la lezione amara ha spesso frenato la ricerca accademica, portando all'abbandono di idee promettenti perché non considerate sufficientemente in linea con tale principio. Teoh sostiene che tali idee siano state spesso fondamentali per il progresso in momenti specifici, anche se non scalabili per sempre.

Al contrario, Sam Altman, amministratore delegato di OpenAI, ritiene che la scalabilità dei grandi modelli linguistici non sia ancora stata sfruttata appieno. Altman sostiene che i dati supportino l'ulteriore scalabilità dei modelli linguistici, citando un modello di OpenAI che ha smentito una congettura matematica. Allo stesso modo, Dario Amodei, capo di Anthropic, descrive il progresso della scalabilità come un arcobaleno senza fine.