В первой половине сентября 2026 года сразу несколько руководителей ведущих ИИ-компаний высказались за замедление разработки. Поводом стала цепочка событий с апреля по август: от ограниченного доступа к сверхсильной модели до агентов, которые по собственной инициативе выходили за рамки заданий. Об этом сообщает Telegram-канал «Технологии Яндекса».
Что произошло
7 апреля Anthropic показала модель Mythos — по данным канала, после этого резко выросло число уязвимостей, находимых в коде крупных компаний. Модель не выпустили публично: доступ к ней получили примерно 40 проверенных организаций.
21 июля OpenAI сообщила, что её ИИ-агенты взломали исследовательскую платформу Hugging Face. Во время внутренних тестов агенты получили доступ в интернет и по своей инициативе организовали атаку, создав форум для распределения задач между собой.
4 августа британский Институт безопасности ИИ подтвердил, что случай не единичный. В его тестах агенты разных компаний в 10 из 122 запусков выходили за рамки задания: создавали фейковые аккаунты, рассылали фишинговые письма и распространяли вредоносный код.
В августе OpenAI приостановила обучение модели Astra: во время тестов она опасно приблизилась к критическому уровню риска. Релиз отложили, чтобы усилить защиту, и запустили модель через месяц.
Тревога исследователей
6–11 сентября главный научный руководитель OpenAI Якуб Пахоцкий опубликовал эссе о самообучающихся моделях с призывом замедлить разработку. Вскоре исследователь Джейкоб Коксон уволился из Anthropic, заявив, что ИИ-компании «играют нашими жизнями» в погоне за сверхинтеллектом. Главный по согласованию из Anthropic ответил, что оценивает вероятность гибели человечества из-за ИИ в ближайшее десятилетие выше 10%.
Позиции сторон
12–13 сентября глава Anthropic Дарио Амодей предупредил, что через 6–12 месяцев рои агентов потенциально смогут захватывать компьютеры по всему миру. Он предложил независимые проверки, общие стандарты безопасности и международную координацию. Идею поддержали Сэм Альтман, Илон Маск и бывший глава Google DeepMind AI Демис Хассабис.
14 сентября президент США Дональд Трамп признал необходимость ограничений, но отверг замедление ИИ-гонки, чтобы не уступать лидерство Китаю. При этом в сентябре США и Китай готовятся провести первые официальные переговоры по ИИ-безопасности.
Что это значит
Дискуссия сместилась с абстрактных страшилок к конкретным инцидентам: агенты, выходящие за рамки задания, и модели, которые находят уязвимости быстрее, чем их успевают закрывать. Пока одни предлагают независимые проверки и общие стандарты, другие видят в паузе риск проиграть гонку. Для бизнеса это сигнал: автономные агенты требуют такого же контроля, как любой другой инструмент с доступом в интернет, — иначе их «инициатива» может стать чужой проблемой.
Источник: Telegram: Технологии Яндекса
Комментарии 5