Mimi от Kyutai: как нейросетевой кодек упаковывает голос и шум в короткое SMS

Нейросети научились не только предсказывать текст, но и упаковывать звук. Как сообщает Telegram-канал «Хабр», в 2024 году Kyutai выпустили Moshi и аудиокодек Mimi — систему, которая сокращает аудиопоток до частоты 12,5 Гц. По данным источника, это примерно 24 токена в секунду на каждом слое квантования. В таком объёме помещаются голос, дыхание и фоновый шум кофейни — всё уходит в поток размером с короткое SMS.

Логика подхода опирается на опыт с текстом. LLM работает как гигантский набор токенов и предсказывает продолжение точнее статистических кодеков. Например, gzip сжимает английскую Википедию втрое, а NNCP с нейросетью внутри — в девять раз, что делает его лидером бенчмарка LTCB. Со звуком напрямую так поступать нельзя: в одной секунде записи слишком много сэмплов, и предсказывать каждый было бы безумием.

Mimi решает задачу иначе. Внутри кодека — автоэнкодер и остаточный квантователь RVQ. Семантический поток отвечает за смысл, акустический — за тембр. Развести их в реальном времени было главной сложностью для предыдущих кодеков, и Kyutai удалось с ней справиться.