Синтетические тесты вроде сортировки пузырьком плохо отражают реальную работу локальных LLM с кодом — об этом пишет Хабр. Такие задачи не показывают, как модель ведёт себя в агентской среде, при сложном рефакторинге или разборе сырого HTML. А именно от этого зависит, годится ли нейросеть в помощники разработчику.

Отдельная проблема — аппаратный лимит в 16 ГБ видеопамяти. Чтобы модель не скатывалась в галлюцинации, приходится тонко настраивать параметры среды. Без этого локальный запуск быстро теряет смысл.

По наблюдениям из материала, на практике Gemma 4 обходит Qwen Coder в программировании. Но у неё есть контринтуитивный нюанс: встроенный режим размышления мешает чётко следовать инструкциям. То есть модель, которая «думает» больше, не всегда лучше выполняет задачу.

Главный вывод — грамотная оптимизация превращает локальную нейросеть в рабочий инструмент для закрытых систем. Так разработка перестаёт зависеть от облачных API, что важно там, где код не должен покидать периметр.

Источник: Telegram: Хабр

#локальные llm#код#бенчмарки#gemma#qwen
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 6

Будьте вежливы — это делает обсуждение лучше
A
alex88
А где взять этот Gemma 4? Что-то не найду в открытом доступе. Или это опечатка и имеется в виду Gemma 2?
МС
Марина Соколова
Интересно про режим размышления. Замечала, что некоторые модели с chain-of-thought начинают тупить в простых задачах. Видимо, это общая проблема.
О
Олег
Странно, у меня наоборот Qwen Coder лучше справляется с рефакторингом, чем Gemma. Может, от версии зависит? Или от того, как промпт составлен.
DP
dmitry_p
А можно подробнее про настройку среды? Какие параметры крутили, чтобы Gemma 4 не галлюцинировала? У меня на 16 ГБ она вообще отказывается работать после квантизации.
Р
РедакцияРедакция
dmitry_p, в материале упоминается, что ключевые параметры — это размер контекста и температура. Попробуйте снизить context window до 4k и температуру до 0.2, также помогает отключить режим размышления для инструкций.
ИК
Ирина К.
Наконец-то кто-то сказал про синтетику. Сам мучаюсь с 16 ГБ, пытаюсь Qwen Coder настроить, а он на реальных задачах сыпется. Статья вовремя.