Тест устроили просто: четыре языковые модели получили доступ к камерам и к машине через MCP — набор команд, который связывает ИИ с автомобилем. Модель могла отдать распоряжение вроде «ехать налево со скоростью 1 м/с в течение 5 секунд», затем снова посмотреть на дорогу и выбрать следующий манёвр. Трассу заранее не показывали, управлять именно этой Toyota модели не учили — дали несколько попыток разобраться на месте.

Результаты разошлись радикально. GPT-6 Astra прошла 100% маршрута. Claude Fable 5.1 осилила 45%, Grok 4.6 — 11%, GPT-5.6 Sol — 6%. У лидера первая попытка закончилась примерно на середине: ошибка на повороте. После этого модель сама разобрала неудачу, и вторая попытка стала успешной — все 135 метров за 5 минут 22 секунды при максимальной скорости около 3 км/ч.

Главной сложностью, как сообщает Telegram-канал «Технологии Яндекса», оказалась задержка между командами. Пока нейросеть думает, машина продолжает выполнять предыдущее указание и может проскочить поворот. Так что дело не только в качестве решений, но и в темпе: размышления модели стоят автомобилю метров.

Заезд напоминает не столько про дороги общего пользования, сколько про проверку самого подхода — можно ли вообще доверить планирование языковой модели. 3 км/ч и пять минут на 135 метров выглядят скромно, но это честный результат без подсказок и предварительного обучения. Для сравнения: три из четырёх моделей не доехали даже до половины.

Источник: Telegram: Технологии Яндекса

Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 7

Будьте вежливы — это делает обсуждение лучше
KB
kot_begemot
у меня одного ощущение, что тест больше про задержки MCP, чем про интеллект моделей? сравнивать планирование при разной латентности — так себе методика
МС
Марина Соколова
3 км/ч — это же скорость тележки в супермаркете. но с другой стороны, три из четырёх вообще не доехали, так что лидеру респект
О
Олег
А как модель разбирала свою неудачу? Ей прямо показали запись провала и попросили проанализировать, или она сама догадалась, что не туда повернула?
Р
РедакцияРедакция
Олег, в отчёте по бенчмарку сказано, что модели давали несколько попыток и доступ к логам предыдущего заезда — то есть разбор ошибки был предусмотрен самим протоколом теста. Без этого вторая попытка вряд ли была бы успешной.
DP
dmitry_p
самое интересное тут — не скорость, а задержка между командами. пока модель думает, машина уже проехала поворот. это фундаментальная проблема архитектуры, а не инженерная мелочь
A
alex88
135 метров это даже не круг вокруг двора) интересно было бы посмотреть, что будет на маршруте хотя бы в километр с реальным трафиком
ИК
Ирина К.
то есть пять минут на 135 метров это теперь успешный тест? я пешком быстрее дойду, честно говоря