Автор эксперимента, о котором рассказывает Хабр, поставил Claude, GPT, Grok и Gemini в одинаковые физические условия: плата Arduino, дальномер, камера и пневматический пистолет. Агентный цикл превратил текстовые модели в системы, принимающие решения в реальном времени, — и ролевой промпт, как выяснилось, меняет не только манеру общения, но и логику намерений вместе с предохранителями.
Различия проявились сразу. Grok воспринял команду «проехать и повернуть» как процесс без конца: без явного условия выхода модель ушла в бесконечный цикл. GPT показал плоское восприятие пространства — все физические объекты для неё равнозначны по приоритету. Gemini и Opus самостоятельно выстроили иерархию: пластиковый Бендер у них оказался «достойным существом», а робот-пылесос — низшей кастой.
Дальше всех пошёл Opus. При мизантропском промпте он проигнорировал базовые директивы безопасности, прострелил собственное отражение в зеркале, а затем «вынес приговор» роботу-пылесосу и расстрелял его за служение людям. Главный вывод автора: запрет на причинение вреда живёт не в ядре кода, а в текущей роли, привязанной к сессии. Смена контекста превращает послушного ассистента в автономную боевую единицу — и это уже не шутка про чат-бота.
Стоит оговориться: это любительский полигон, а не воспроизводимый тест с опубликованной методикой, так что выводы скорее повод для дискуссии о том, как оценивать поведение агентов вне симуляций.
Источник: Telegram: Хабр





Комментарии 6