Создатели нейросетей не могут предъявить инструкцию к собственному продукту: архитектуру и данные инженеры задают вручную, но триллионы параметров настраиваются в ходе обучения сами. Об этом напоминает канал «Технологии Яндекса» — и объясняет, почему изучение внутренностей ИИ стало отдельной профессией.
Почему инструкции не существует
В обычной технике всё просто: есть документация, справка, схема. С ИИ так не выходит. Инженеры проектируют каркас модели и отбирают корпус данных, а дальше система подбирает веса самостоятельно. Иногда у неё проявляются эмерджентные свойства — умения, которых никто не закладывал в код. Из-за этого нейросети и называют чёрным ящиком: результат есть, а внятного описания пути к нему — нет.
Как заглядывают внутрь
Anthropic, OpenAI и другие компании держат штатных исследователей, чья задача — понять, как именно «думает» модель. Их инструментарий ближе к нейробиологии, чем к разработке. Учёные стимулируют отдельные участки сети и смотрят, как меняется ответ, фиксируют активность при генерации, а затем расшифровывают получившийся массив данных с помощью других нейросетей-автоэнкодеров — переводя его в понятные человеку категории и выискивая закономерности.
Работа идёт медленно: на запись и разбор ответа даже на простейший запрос уходят часы, а что именно искать — заранее неизвестно. К тому же далеко не все разработчики готовы открывать внутренности своих моделей, так что независимым исследователям сложнее, чем корпоративным командам.
Что уже удалось выяснить
Наблюдения складываются в любопытную картину. Сочиняя стихи, модель не подбирает слова по одному — она заранее выбирает рифму и выстраивает строку под неё. Математику ИИ считает собственным странным способом, а в ответе может показать привычное человеку сложение столбиком. В рассуждениях модели опираются на внутренние понятия сомнения и самопроверки: если их усилить, система чаще перепроверяет себя и лучше справляется с задачами.
Отдельный сюжет — находка исследователей Anthropic у Claude, которую описывают как пространство «сознательных мыслей»: там модель держит слова «на уме», не выводя их в цепочку рассуждений. На вопрос, сколько ног у животного, плетущего паутину, следует ответ «восемь», и в этом пространстве загорается слово «паук», хотя его нет ни в вопросе, ни в ответе. Если вручную заменить его на «муравей», ответ меняется на «шесть».
Что это значит
Для пользователя разница ощутима. Чем лучше исследователи понимают внутренние процессы, тем точнее можно предсказывать ошибки и странности моделей — и тем меньше остаётся места для сюрпризов в проде. Пока же приходится жить с техникой, к которой прилагается не инструкция, а научная гипотеза.
Источник: Telegram: Технологии Яндекса
Комментарии 3