PlayStation 5 приспособили под локальный запуск Qwen на 27 млрд параметров

Обычный процессор для такой задачи оказался почти бесполезен: та же модель выдавала примерно один токен в минуту и то и дело подгружала веса с накопителя. В приложении PS5LM Plus расчёты перенесли на графический процессор через Vulkan, и скорость выросла до 20,7 токена в секунду, сообщает Хабр.

Чтобы 27-миллиардная Qwen уместилась в память консоли, применили 2-битное квантование: модель сжалась до 6,8 ГБ, сохранив контекстное окно в 64 тыс. токенов. За основу взят проект PS5LM Мерта Кобанова, ранее перенёсшего на консоль движок llama.cpp. Переписав его в отдельное приложение, автор получил доступ к 12 ГБ видеопамяти вместо 6 ГБ, которые были у прежнего фонового модуля.

На практике это выглядит так: консоль загружает модели в формате GGUF с накопителя или с Hugging Face, а запросы к ней отправляют со смартфона или компьютера в той же сети через веб-интерфейс. Обработка идёт полностью локально, внешние клиенты подключаются по OpenAI-совместимому API. Для «Нейрона» это ещё один пример того, как чужая железка — пусть и требующая взлома — превращается в домашний инференс-сервер.