Команда Alice AI Search, отвечающая за быстрые ответы «Алисы» в поиске, выложила в открытый доступ претрейн языковой модели и описала, как устроен весь конвейер генерации коротких ответов. Об этом сообщает Хабр.
Один из ключевых элементов — экстрактор инфоконтекстов: он отбирает нужные фрагменты из найденных документов и, по словам разработчиков, поднял пропускную способность примерно на 40% без потери качества. Сама модель построена по схеме Encoder-Decoder с разреженной MoE-архитектурой. Претрейн обучен с нуля на 15 трлн токенов собственного корпуса, а в продакшне работает его дообученная версия.
Отдельная история — online-RL: реворд-модель учится на поведении реальных пользователей, точнее, на том, оказался ли ответ достаточным или человек продолжил искать. Инференс открытой модели снаружи идёт через Hugging Face Transformers.
Контекст: скорость здесь не роскошь, а условие продукта — короткий ответ должен появляться даже в пиковую нагрузку. Открывая претрейн, команда даёт внешним исследователям материал, на котором можно проверять собственные идеи.
Источник: Telegram: Хабр
Комментарии 7