Автор публикации на Хабре собрал домашний вычислительный стенд для запуска открытых языковых моделей. В основе — пара Tesla P100, которые, по его данным, доступны на вторичном рынке за 4–9 тыс. рублей каждая, что в сумме даёт 32 ГБ видеопамяти. Процессорная часть — Xeon E5-2680 v4 с 28 потоками, 64 ГБ оперативной памяти и блок питания мощностью около киловатта. В простое система потребляет 135 Вт, под нагрузкой — до 600 Вт; выделяемое тепло, по замечанию автора, почти полностью компенсирует отопление комнаты.
Обзоры с оценками вроде «одна модель набрала 86 баллов, другая — 88» энтузиаста не убедили. Он составил собственный набор из 14 практических задач, с которыми прежде сталкивался лично: FreeRTOS-сценарий на ESP32 с watchdog, фильтр Калмана, где из-за режима FTZ на Xtensa в double появляется NaN, гонки ресурсов в алготрейдинге и правка smali-патчей в DEX-файлах. Эталоном выступил облачный DeepSeek V4 Flash.
Результат: локальная Ornith-1.5-35B справилась со всеми 14 заданиями без ошибок, тогда как облачная модель показала 97%. Автор подчёркивает, что такой стенд обходится заметно дешевле аренды облачных мощностей и при этом позволяет работать с данными полностью локально.
Подробности и методика тестирования — в исходной публикации на Хабре.
Источник: Telegram: Хабр
Комментарии 7