96 ГБ VRAM на потребительском железе: LLM-печка из четырёх GPU

Дефицит линий PCIe на потребительских платах — давняя боль тех, кто хочет собрать домашнюю машину для нейросетей. Автор материала на Хабре (как сообщает Telegram-канал «Хабр») решил её конвертацией слотов M.2: дополнительные видеокарты подключаются через райзеры и адаптеры M.2 в PCIe 4.0 x4. В сумме это даёт 96 ГБ VRAM без перехода на дорогое HEDT-оборудование.

Узкий интерфейс обычно считают приговором для мульти-GPU, но здесь ставка сделана на особенности llama.cpp. Распределение модели по слоям (layer split) сокращает обмен данными: контекст передаётся только после того, как блок посчитан целиком. Именно поэтому урезанная пропускная способность не так критична.

Открытым остаётся вопрос, где предел: автор обещает выяснить, в какой момент новые графические чипы на узком интерфейсе начинают не ускорять, а замедлять генерацию токенов.