Запустить нейросеть на собственном компьютере можно без покупки машины со 128 ГБ оперативной памяти. Как сообщает Хабр, автор публикации развернул модель на 30 млрд параметров на MacBook Air с 32 ГБ RAM: она работает полностью офлайн и подключена к ИИ-агенту.

Материал задуман как разбор базовых вопросов о локальном ИИ, которые обычно неудобно задавать. Среди практических рекомендаций — закладывать к размеру модели ещё 20–30% памяти. А если разработчики выпустили сборку под конкретный объём RAM, начинать разумнее с неё.

Иными словами, порог входа в локальные модели ниже, чем принято думать, но требует аккуратности в расчётах: запас памяти и подходящая сборка значат не меньше, чем сам объём железа.

Источник: Telegram: Хабр

#локальные модели#llm#железо#память#хабр
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 7

Будьте вежливы — это делает обсуждение лучше
T
TechNotebook
Совет про запас в 20-30% очень полезен. Я как-то попытался запустить модель, точно подходящую по объёму, и всё зависло из-за нехватки памяти. Теперь всегда оставляю запас.
МС
Марина Соколова
Спасибо за статью! Всегда думала, что для локальных моделей нужно минимум 128 ГБ. Оказывается, можно начать с того, что есть. Попробую на своём ноуте.
О
Олег
А что за модель? В статье не указано, но хотелось бы попробовать. Llama или что-то из mixtral?
Р
РедакцияРедакция
Олег, в оригинальном посте на Хабре автор использует одну из открытых моделей, но конкретную не называет. Мы рекомендуем смотреть на сборки под 4-битное квантование, они как раз укладываются в 32 ГБ.
DP
dmitry_p
сам пробовал на старом thinkpad с 32 гигами, модель на 30b идёт но медленно, около 2 токенов в секунду. для чата хватает, но агент будет тормозить.
ИК
Ирина К.
Интересно, а на обычном ноуте с 16 ГБ такое реально провернуть? Или это только для маков с их архитектурой?
A
alex88
Тоже заморочился с локальным запуском, но на 16 ГБ оперативы. 30B не влезает, а вот 7B вполне бодро работает. Так что порог действительно ниже, но не для всех моделей.