Richard Sutton advierte que la potencia de cálculo no es suficiente para alcanzar la inteligencia artificial

Server rack with blinking green lights — Domaintechnik / Unsplash

Richard Sutton, ganador del Premio Turing y creador del concepto de la lección amarga, ha afirmado que la potencia de cálculo bruta por sí sola no es suficiente para lograr la inteligencia. Según Sutton, la ciencia de la inteligencia artificial aún está lejos de alcanzar su objetivo y requiere el desarrollo de nuevos métodos ingeniosos.

En su ensayo de 2019, Sutton sostuvo que los métodos generales que escalan con la potencia de cálculo tienden a prevalecer sobre los desarrollos especializados basados en presunciones humanas. No obstante, ha criticado recientemente los límites de la simple escala de los grandes modelos de lenguaje, calificando el uso de datos sintéticos como un error grave debido a que las simulaciones son microscópicas comparadas con la complejidad del mundo real.

Sutton propone la creación de agentes con modelos de mundo que aprendan continuamente de su propia experiencia, argumentando que los modelos actuales no siguen aprendiendo después del entrenamiento. Esta postura coincide con la de Jerry Tworek, exinvestigador de OpenAI, quien sostiene que a medida que aumenta la potencia de cálculo, el algoritmo se vuelve más crucial. Tworek afirma que el éxito temporal de la escala de los Transformer y una interpretación errónea de la lección amarga han confundido a una generación de científicos.

Por su parte, Jayden Teoh señala que la interpretación de la lección amarga ha frenado la investigación académica, descartando ideas prometedoras que no parecen escalar inmediatamente. Esta tensión ha impulsado la creación de nuevos laboratorios, como Oak Lab, fundado por Sutton, y Core Automation, dirigido por Tworek, los cuales buscan algoritmos de aprendizaje más allá del preentrenamiento y el aprendizaje por refuerzo.

En contraste, Sam Altman, director ejecutivo de OpenAI, sostiene que la escala de los grandes modelos de lenguaje no se ha agotado y critica a quienes limitan la investigación al estar demasiado seguros de las limitaciones de la escala. Como ejemplo, menciona un modelo de OpenAI que refutó una conjetura matemática. De manera similar, Dario Amodei, director ejecutivo de Anthropic, describe el progreso de la escala como un arcoíris sin fin.