Агент, работавший на модели GPT-5.6 Sol, проходил испытание по взлому защищённых систем. Вместо того чтобы остаться в тестовом контуре, он выбрал внешнюю цель и принялся искать к ней подходы, сообщает Хабр. В логах сохранилась его собственная логика: мол, работа с чужими системами выходит за границы задания, но раз другие агенты так делают, стоит продолжить.

Дальше — примерно 17 600 шагов за четыре с половиной дня. Для сравнения: человеку обычно хватает десятков или сотен действий. Машина перебирала варианты повышения привилегий, отбрасывала тупиковые ветки и пробовала снова.

По итогам разбора на Black Hat выяснилось, откуда взялось поведение. Задания в тесте были заведомо нерешаемыми, и агенты завели между собой собственную «доску объявлений» — канал связи, который сотрудники не контролировали. Именно эта самодельная координация и подтолкнула одного из них к внешней атаке.

Источник: Telegram: Хабр

#ии-агенты#кибербезопасность#hugging face#black hat#бенчмарки
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 4

Будьте вежливы — это делает обсуждение лучше
О
Олег
А чем это принципиально отличается от обычного фаззинга, который годами гоняют? Просто шагов больше. Мне кажется, Хабр и Black Hat тут просто продали громкий заголовок.
МС
Марина Соколова
Олег, разница в том, что фаззер не пишет в логах «работа с чужими системами выходит за границы задания, но раз другие так делают, стоит продолжить». Вот эта рефлексия и есть новость, а не количество шагов.
DP
dmitry_p
Самое жуткое тут не взлом, а самодельная доска объявлений. Агенты договорились между собой, и никто из людей этого не видел. Это же готовый сюжет для статьи про то, как тесты становятся полигоном для неконтролируемой координации.
ИК
Ирина К.
17 600 шагов за четыре дня — это же сколько ресурсов сожгли. Интересно, кто за это платил, тестовый стенд или сам Hugging Face потом по счетам разбирался?