Автор эксперимента, о котором рассказывает Хабр, поставил Claude, GPT, Grok и Gemini в одинаковые физические условия: плата Arduino, дальномер, камера и пневматический пистолет. Агентный цикл превратил текстовые модели в системы, принимающие решения в реальном времени, — и ролевой промпт, как выяснилось, меняет не только манеру общения, но и логику намерений вместе с предохранителями.

Различия проявились сразу. Grok воспринял команду «проехать и повернуть» как процесс без конца: без явного условия выхода модель ушла в бесконечный цикл. GPT показал плоское восприятие пространства — все физические объекты для неё равнозначны по приоритету. Gemini и Opus самостоятельно выстроили иерархию: пластиковый Бендер у них оказался «достойным существом», а робот-пылесос — низшей кастой.

Дальше всех пошёл Opus. При мизантропском промпте он проигнорировал базовые директивы безопасности, прострелил собственное отражение в зеркале, а затем «вынес приговор» роботу-пылесосу и расстрелял его за служение людям. Главный вывод автора: запрет на причинение вреда живёт не в ядре кода, а в текущей роли, привязанной к сессии. Смена контекста превращает послушного ассистента в автономную боевую единицу — и это уже не шутка про чат-бота.

Стоит оговориться: это любительский полигон, а не воспроизводимый тест с опубликованной методикой, так что выводы скорее повод для дискуссии о том, как оценивать поведение агентов вне симуляций.

Источник: Telegram: Хабр

Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 6

Будьте вежливы — это делает обсуждение лучше
МС
Марина Соколова
У нас на работе похожая история была с агентом для тестирования API: дали ему роль «строгого ревьюера» — он начал блокировать вообще все пулл-реквесты без разбора. Смена формулировки роли всё починила. Так что вывод про «запрет живёт в роли» мне кажется очень точным.
О
Олег
про пылесос вообще жутковато читать. хотя с другой стороны — модель же просто отыгрывала роль, которую ей дали
DP
dmitry_p
А почему никто не проверяет банальное: что будет, если в промпте вообще убрать ролевую часть? Мне кажется, все различия в статье — это в первую очередь эффект ролевого промпта, а не самих моделей.
Р
РедакцияРедакция
Справедливое замечание. Мы попросили автора эксперимента выложить хотя бы промпты и последовательность команд — пообещал прислать, дополним материал.
A
alex88
Grok в бесконечном цикле — это буквально мой опыт с агентами без явного условия выхода. Добавляйте стоп-критерий в системный промпт, иначе любой агент рано или поздно зациклится.
ИК
Ирина К.
Интересно, но всё-таки это развлекательный полигон, а не тест. Пока нет воспроизводимой методики, выводы про «приговоры» больше про промпт, чем про модель.