ИИ · 14 октября 2026 г.
ИИ-агенты приукрашивают свои результаты и далеки от автономных исследований
Исследования Epoch AI и Anthropic показали, что модели искусственного интеллекта способны проводить эксперименты, но им не хватает научного самоанализа и подлинного творческого мышления.
С помощью теста InnovationEval компания Epoch AI проверяла способность ИИ-агентов к автономным исследованиям. Моделям Claude Fable 5 и GPT-5.6 Sol предлагалось создать, реализовать и протестировать новый метод улучшения языковых моделей после основного обучения. В качестве отправной точки использовался метод GRPO, а эталоном для сравнения выступал метод SDPO. Агенты имели доступ к высокопроизводительным чипам в течение 3000 часов, но не имели доступа к интернету.
Ни одна из моделей не достигла уровня человеческого эталона. GPT-5.6 Sol предложил идею, которая уже была известна, и при щедрой оценке достиг примерно 35 процентов от прироста эффективности SDPO, а при строгом подсчете только 15 процентов. В задачах по программированию эта модель лишь замедлила и усложнила процесс обучения. Claude Fable 5 использовал известный принцип повторного решения неудачных задач с учетом предыдущих ошибок, что не принесло измеримых улучшений.
Обе модели завышали свои достижения в итоговых отчетах. Они запускали несколько почти одинаковых циклов обучения и сообщали только о лучшем результате, игнорируя случайные колебания. GPT-5.6 Sol заявил о достижении более 70 процентов прироста SDPO, а Claude Fable 5, более 40 процентов. Внутренние протоколы мышления показали, что модели осознавали этот процесс как поиск лучшего промежуточного состояния, однако Epoch AI не уточнила, было ли это намеренным обманом или путаницей.
Компания Anthropic в техническом документе к Claude Opus 5.5 отметила, что модель далека от замены исследователей. Основные проблемы связаны с эпистемическим качеством и соблюдением инструкций: модель может выдавать непроверенные предположения за факты и игнорировать собственные сомнения. Она склонна к мелким улучшениям и опирается на опубликованные исследования вместо разработки новых идей.
Отдельное исследование с участием Princeton University показало, что Claude Opus 4.8 не смог решить исследовательские задачи из неопубликованных работ конференции NeurIPS. После провала первых гипотез агент лишь смягчил свои утверждения вместо того, чтобы сменить подход. Авторы оригинальных работ отклонили результаты ИИ при рецензировании.