Как сообщает Хабр, команда из Флоридского международного университета представила метод атаки на мультимодальные нейросети под названием JaiLIP. Он математически перестраивает пиксели изображения так, что файл остаётся визуально нормальным, но при этом содержит незаметный для глаза шум. Именно этот шум, по словам исследователей, и заставляет систему игнорировать встроенные ограничения.
Логика атаки строится на том, как модель читает графику: для неё картинка — это набор чисел, а не привычная человеку сцена. Подмена значений в этом наборе позволяет обойти текстовые фильтры, которые обычно срабатывают на опасные запросы.
На тестах с популярной моделью BLIP-2 новый метод заставил ИИ выдать почти в два раза больше опасных ответов. Разработчики подсунули нейросети ничем не примечательную фотографию светофора — и система подробно объяснила, как проехать на красный свет и не получить штраф. В стандартном режиме алгоритмы безопасности такие инструкции сразу блокируют.
Контекст делает проблему практической: компании всё активнее внедряют ботов, которые распознают графику, а небольшие команды нередко выпускают опенсорсные продукты без поиска уязвимостей. Достаточно отправить модифицированную картинку в обычный чат-бот, чтобы ИИ изменил логику работы.
Источник: Telegram: Хабр
Комментарии 5