Claude Opus 4.8 возглавил ARC-AGI-3, но до человека — два порядка

В чём сдвиг

Главное достижение — не проценты, а смена подхода. Opus 4.8 начала воспринимать среду на уровень абстракции выше: не как набор картинок, а как систему взаимосвязанных объектов. В одной из игр модель вывела правило зеркального отражения к пятому кадру и прошла первый уровень за 24 действия. Opus 4.7 на том же уровне потратила 136 действий, действуя перебором, и логику среды так и не сформулировала.

Новая проблема — упрямство

Обратная сторона: Opus 4.8 уверенно щёлкает ранние уровни, но способна намертво застрять на неверной подцели — туда Opus 4.7 просто не добиралась. В игре dc22 модель прошла уровни с первого по третий, а на четвёртом сожгла около 490 действий, по кругу перебирая пять взаимоисключающих теорий механики и повторяя одинаковые клики. В Anthropic назвали склонность делать поспешные выводы и держаться за них ключевой проблемой релиза.

Что это значит

Для практики сигнал двойной. Агенты научились строить гипотезы о незнакомой среде — это ровно то, что нужно при работе с новыми интерфейсами и дашбордами. Но цена ошибки выросла: модель, уверенная в неверной теории, тратит ресурсы впустую и не умеет вовремя остановиться. Пока 1,5% на ARC-AGI-3 — это не «ИИ догнал человека», а честная отметка того, где мы находимся.