Qwen3.6 в llama.cpp: плюс 0,3 Гб весов — и вдвое быстрее

Как сообщает Хабр, в llama.cpp добавили поддержку Multi-Token Prediction (MTP) для Qwen3.6. Механика такая: дополнительные слои предсказывают сразу несколько токенов за один проход скрытого состояния, а не по одному. Веса при этом тяжелеют всего на 0,3 Гб — а скорость генерации растёт с 60 до 130 токенов в секунду.

Логичный вопрос — не теряется ли качество. Судя по исходникам sampling.cpp, алгоритм спекулятивного декодирования прекращает проверку на первом же расхождении токенов, так что результат остаётся строго lossless. То есть подмена скорости на точность здесь не предполагается.

Прирост, впрочем, зависит от архитектуры. Dense-модели дают стабильные двукратные показатели, а MoE, по данным источника, на творческих задачах внезапно деградируют. Так что ускорение — не универсальная кнопка, а свойство конкретной модели.