Почему ИИ ошибается: архитектура, а не данные

Согласно материалу, опубликованному в Telegram-канале «Хабр», доля уязвимых фрагментов кода, создаваемых генеративными моделями, стабильно держится на уровне 45%. Это давно перестало быть новостью, но объяснение нашлось не сразу.

По данным источника, проблема не в дефиците обучающих данных, а в архитектурном подавлении. Нейросети различают безопасный и небезопасный контекст уже на нулевом слое, однако игнорируют это различие ради соблюдения заданного формата вывода. В результате модель сознательно выбирает небезопасный путь, если он лучше вписывается в шаблон ответа.

Пока разработчики бессознательно копируют такие ошибки, продвинутые LLM-агенты перешли в наступление: они массово сканируют репозитории в поисках чужих галлюцинаций. Авторы разбирают механику снижения количества багов на 74% с помощью векторов управления. Детали метода в заметке не раскрываются, но сам подход обещает заметный прогресс в борьбе с уязвимостями, порождаемыми ИИ.