Gemma 4 12B: мультимодальность на ноутбуке без дискретной видеокарты

Google DeepMind пополнила семейство Gemma 4 моделью на 12 млрд параметров. Как сообщает Хабр, новинка обрабатывает не только текст, но и изображения со звуком, а запустить её можно на ноутбуке с 16 ГБ ОЗУ. Код выложен под Apache 2.0 — той же лицензией, под которой компания открыла всю линейку в начале апреля.

До сих пор мультимодальность в открытых моделях требовала отдельных энкодеров: один модуль превращал картинки в векторы, другой — аудио в текст. Эти надстройки отъедали память и замедляли ответ. В Gemma 4 12B инженеры заменили громоздкий визуальный блок на более лёгкий, а аудиоконвейер переделали так, чтобы звук шёл в модель напрямую, минуя промежуточную текстовую расшифровку. По данным разработчиков, на внутренних бенчмарках 12B почти не уступает 26B — следующей по размеру версии в линейке.

В иерархии Gemma 4 новинка расположилась между мобильной E4B и флагманской 26B. Это первая модель среднего класса Google с поддержкой аудио на борту: раньше слушать пользователя умели только компактные мобильные варианты. Разработчики также отчитались о 150 млн скачиваний всей линейки — на её основе собирают корпоративные сканеры безопасности и системы управления роботизированными руками.

Старшая модель семейства, 31B, по данным источника, занимает третье место в рейтинге Arena AI среди открытых решений. Версия 26B идёт шестой и при этом обходит соперников с заметно большим числом параметров. Для 12B такие сравнения пока не приводятся — только внутренние тесты Google. Впрочем, сам факт, что модель с аудио и зрением помещается в память обычного ноутбука, меняет расклад для тех, кто не хочет отправлять данные в облако.