Компания представила Alice AI Foundation — открытую нейросеть, которую обучали с нуля с упором на русский язык. Главный аргумент — не только качество ответов, но и экономия токенов.
Что именно показали
Об этом сообщает Telegram-канал «Технологии Яндекса». Модель создана внутри компании, а её словарь собирали преимущественно на русскоязычных текстах. Логика простая: языковая модель режет входной текст не на слова и не на буквы, а на токены — фрагменты вплоть до одного символа. Чем лучше словарь подогнан под язык, тем короче выходит последовательность токенов для той же фразы.
Разница заметна на чужих моделях. В примере из публикации одна и та же контрольная фраза про подсчёт токенов занимает у Claude Opus 5 на русском 17 токенов, а на английском — 13. У Alice AI Foundation, по словам разработчиков, русский текст токенизируется эффективнее: запрос обрабатывается быстрее, контекстное окно вмещает больше текста, а память о начале диалога держится дольше. Для тех, кто платит за токены, это прямая экономия.
Почему перевода недостаточно
Словарь — только половина дела. Смысл запроса часто завязан на местные реалии и культурный контекст, поэтому дословный перенос англоязычных материалов не работает: модели нужны тексты на русском. Кроме того, факт запоминается надёжнее, если встречается в разных формулировках. В публикации приводят пример: сведения о том, что Пётр I основал Петербург в 1703 году, для обучения подают и репликой экскурсовода, и исторической заметкой, и парой «вопрос — ответ».
Проверяют результат тоже не абстрактно, а на типичных пользовательских запросах. Для Alice AI Foundation в Яндексе собрали собственные тесты по истории, праву, английскому языку и общим фактам. В последней категории модель набрала 86,5 балла, обойдя китайскую DeepSeek-V4-Flash-Base с 83,2 балла — при том что конкурентка крупнее в 3,5 раза.
Компактность как аргумент
Скромный размер объясняется архитектурой MoE: из 80 млрд параметров на обработку одного токена идут примерно 3 млрд. Такой подход позволяет хранить больше знаний, не оплачивая их вычислениями на каждом шаге, — и на ряде задач компактная модель обгоняет более крупных открытых соседей. Релиз, по данным канала, заметили и за пределами России: запуск попал в число ключевых новинок недели.
Что это значит
Для разработчика, который строит продукт на русском, разница в токенизации — это не абстракция из статьи, а счёт за API и скорость ответа. Для рынка важен сам прецедент: открытая модель, изначально заточенная под один язык, а не адаптированная переводом. Проверить заявления Яндекса можно будет на собственных задачах — модель открыта, а значит, сравнение с более крупными конкурентами доступно любому желающему.
Источник: Telegram: Технологии Яндекса
Комментарии 7