Языковая модель на 17 килобайт: тернарные веса и C#

Как сообщает Telegram-канал «Хабр», энтузиаст обучил архитектуру Llama на C# и перевёл её веса в триты — значения, которые могут принимать только минус один, ноль или плюс один. В таком виде языковая модель со всеми положенными слоями, включая токенизатор и механизм внимания, занимает на диске 17,1 килобайта.

Есть версия покрупнее — 28,9 килобайта. Она обучается увереннее и отвечает осмысленнее. Самая экстремальная конфигурация, где меньше пятидесяти тысяч параметров, тоже что-то говорит в чате, но заметно хуже.

Главный вопрос — как обучение вообще доводит тритовые нейроны до рабочего состояния. Ответ на него автор разбирает в материале. Для контекста: обычные языковые модели измеряются гигабайтами, так что здесь речь скорее о демонстрации принципа, чем о конкуренте привычным чат-ботам.