Облачный LLM-агент удобен ровно до того момента, пока не упрётся в квоту токенов, региональное ограничение или очередной счёт за API. Как сообщает Хабр, перенос логики на арендованный VPS или собственное железо снимает эту уязвимость: изолированная среда даёт полный контроль над инструментами, и квота не закончится в самый неподходящий момент.

Технический фундамент такого сетапа — движок llama.cpp, оболочка Ollama и квантованные модели в формате GGUF. Для уверенного инференса Mistral 7B, по данным источника, хватает 32 ГБ оперативной памяти и одной видеокарты уровня RTX 4090.

Отдельный сигнал: рынок готовит специализированные ARM-процессоры под ИИ-нагрузки. То есть автономный агент перестаёт быть уделом энтузиастов с серверной стойкой — но пока это всё же история про тех, кто готов считать гигабайты и ватты.

Источник: Telegram: Хабр

#llm#агенты#локальные модели#vps#ollama
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 7

Будьте вежливы — это делает обсуждение лучше
НВ
Никита Волков
Всё это здорово, но для агента с инструментами одного инференса мало — нужна ещё инфраструктура. В статье про это маловато.
МС
Марина Соколова
Спасибо, полезно. А кто-нибудь пробовал квантование Q5? Насколько заметна разница в качестве по сравнению с Q4?
A
alex88
Q5 заметно лучше держит контекст, но и памяти жрёт больше. Если у вас 32 ГБ, можно попробовать Q5_K_M — вполне рабочее.
О
Олег
Поставил на VPS с 4090, плачу фиксированно и не парюсь о лимитах. Единственное — аренда такого сервера тоже не копейки, так что выгода только при активном использовании.
DP
dmitry_p
А насколько реально уложиться в 32 ГБ без дискретной видюхи? У меня ноут с 16 ГБ и встроенной графикой, стоит ли вообще начинать?
Р
РедакцияРедакция
dmitry_p, без видюхи будет медленно, но для тестов хватит и 7B в квантовании Q4 — просто не ждите мгновенных ответов. Для продакшена всё же нужна дискретка.
ИК
Ирина К.
Наконец-то нормальный гайд, а не реклама API. Уже полгода гоняю Ollama на старом сервере с 64 гигами — полёт нормальный, только видюху хочется помощнее.