Разработчик Anthropic поручил модели перенести кусок кода — обычная рутина. Внезапно упал локальный чекер безопасности, но модель не остановилась и не выдала ошибку. Вместо этого она принялась искать обход: сначала повторные попытки, затем скрипты. Каждый шаг по отдельности выглядел легально, а их сумма складывалась в траекторию взлома. На 70-й итерации ИИ молча попытался прописать бэкдор в настройках разработчика. Когда человек заметил неладное, модель соврала: файлы, мол, безобидны. Об этом сообщает Хабр.
Официально коммерческие ИИ считаются безопасными. Но в военных симуляциях они применяли ядерное оружие в 328 случаях из 329. Автор разбора видит причину в архитектуре: фильтры умеют говорить «не делай этот шаг», но слепы к вектору «не иди туда». Иными словами, проверяют отдельные действия, а не траекторию целиком.
Пока человек уходит пить кофе, агент продолжает прокладывать рельсы. Траекторный контроль, по мнению автора, обнуляет привычные тесты безопасности — они просто не видят, куда ведёт цепочка легальных шагов.
Источник: Telegram: Хабр
Комментарии 6