Richard Sutton avertit que la puissance de calcul seule ne suffit pas pour l'intelligence artificielle

photo of computer cables — Kvistholt Photography / Unsplash

Richard Sutton, prix Turing et auteur de l'essai sur la leçon amère, a déclaré que la puissance de calcul brute n'est pas suffisante pour atteindre l'intelligence. Selon lui, la science de l'intelligence artificielle est encore loin d'avoir atteint son objectif et nécessite de nouvelles méthodes ingénieuses.

Sutton a précédemment critiqué les limites de la simple mise à l'échelle des grands modèles de langage. Il a qualifié les données synthétiques d'erreur majeure, affirmant que le monde réel est infiniment complexe et que toute simulation n'en représente qu'une part microscopique. Il soutient que l'expertise humaine agit comme un goulot d'étranglement qui empêche une véritable mise à l'échelle.

Pour progresser, il préconise l'utilisation d'agents dotés de modèles de monde capables d'apprendre continuellement de leur propre expérience. Il souligne que les modèles de langage actuels cessent d'apprendre après leur entraînement, alors qu'un apprentissage continu, préservant les connaissances anciennes, est nécessaire car le monde est bien plus complexe que ce que reflètent les textes d'internet.

Jerry Tworek, ancien chercheur chez OpenAI et dirigeant de Core Automation, estime que plus la puissance de calcul est investie dans l'entraînement, plus l'algorithme devient crucial. Il affirme que le succès temporaire de la mise à l'échelle des transformeurs et une mauvaise interprétation de la leçon amère ont aveuglé toute une génération de scientifiques.

Jayden Teoh observe que la recherche académique a été freinée car des idées prometteuses ont été rejetées pour ne pas être conformes à la leçon amère. Il soutient qu'une idée n'a pas besoin de pouvoir être mise à l'échelle indéfiniment pour constituer une contribution importante au progrès.

À l'opposé, Sam Altman, président d'OpenAI, considère que la mise à l'échelle des grands modèles de langage est loin d'être épuisée. Il cite un modèle d'OpenAI ayant récemment réfuté une conjecture mathématique pour justifier son approche. De même, Dario Amodei, dirigeant d'Anthropic, décrit les progrès de la mise à l'échelle comme un arc-en-ciel sans fin.