Яндекс обучила с нуля модель на 80 млрд параметров — и это не про размер

Яндекс открыла исходники языковой модели AliceAI-Foundation-80B-A3B-Base, о чём сообщил Хабр. Главная цифра — 80 млрд параметров при 3 млрд активных: это разреженная MoE-архитектура, где на каждом шаге включается лишь часть сети. Основной этап претрейна занял около шести месяцев и 17,5 трлн токенов. Важнее другое: веса не заимствованы у сторонних опенсорс-моделей, модель собрана внутри компании.

Полгода ушли не только на сам прогон данных. Корпус подготовили заново, пересмотрели архитектурные варианты, настроили гиперпараметры и отдельно досыпали материал для рассуждений и агентских сценариев. Последнему посвятили самостоятельную стадию претрейна — сегодня это стандартный способ научить модель не только отвечать, но и планировать цепочку действий.

Самый нервный момент случился после пересчёта гиперпараметров по scaling laws: сначала поползли вверх MoE-активации, потом резко скакнул loss. Первым подозрением была ошибка в прогнозе, но эффект воспроизвели на маленькой модели из нескольких широких слоёв. Обучение удалось стабилизировать, после чего команда вернулась к предсказанному learning rate и довела финальный чекпойнт.