Полный чекпоинт Qwen3.8-Flash-Next запустили на одной потребительской видеокарте: пик потребления VRAM — 5,95 ГБ, без квантизации и дистилляции. Об этом пишет Хабр.
Для сравнения: в формате bf16 та же модель хранится на диске и весит порядка 360 ГБ. Одна лишь вспомогательная n-gram таблица внутри неё тянет на 102 ГБ. По обычным прикидкам, столько требуют серверные конфигурации или облако, а не одна RTX 4090.
И это не урезанная сборка ради демонстрации. Взят полный чекпоинт с native vision и контекстом на 262K токенов. По собственным замерам Qwen модель конкурирует с закрытыми frontier-решениями в программировании и агентских задачах.
Главный вывод: видеопамять перестаёт быть узким местом, а нагрузка смещается в другую часть системы. Какую именно — в сообщении не уточняется.
Что это меняет
Если цифры подтвердятся, порог входа для больших моделей на локальном железе заметно снизится. Пока это единичный опыт, а не воспроизводимый рецепт: деталей запуска источник не приводит.
Источник: Telegram: Хабр
Комментарии 10