Как сообщает Хабр, энтузиаст собрал чат-бота на базе языковой модели для переписки 15 друзей. Проект работает без единого рубля на API: всё крутится на ноутбуке с 4 ГБ видеопамяти и выдаёт около 5 токенов в секунду.

Бот подкалывает участников, опираясь на их же архив реплик, комментирует новости в машинной манере и ведёт досье на каждого. Весь чат он помнит через RAG. Для споров предусмотрен отдельный режим: спорный тезис отправляют боту реплаем, и он проверяет его по источникам сразу с четырёх углов.

Отдельная история — курьёз с моделью, которая умеет читать изображения. Ей дали мангу «Призрак в доспехах», и на страницах с японскими звуковыми эффектами она сорвалась в цикл: честно пыталась прочитать звук и выдавала «КАК! КАК! КАК!» тридцать раз подряд, пока не упёрлась в потолок токенов. Осадили её штрафом за повторы.

По словам автора, на домашнем железе привычные приёмы приходится выбрасывать и заменять хитростью. Именно из таких компромиссов и складывается работающий бот — пусть и не с самой высокой скоростью.

Источник: Telegram: Хабр

#llm#чат-бот#rag#локальные модели#хабр
Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии 6

Будьте вежливы — это делает обсуждение лучше
ИК
Ирина К.
Штраф за повторы — хорошая идея, у меня без него модель тоже уходила в цикл на коротких ответах. А можно ли это прикрутить к обычному чату, а не только к чтению картинок?
A
alex88
история с мангой уморила. КАК КАК КАК тридцать раз — это буквально я, когда пытаюсь объяснить коллеге, что такое контекстное окно
МС
Марина Соколова
А как он решает проблему, что бот подкалывает по архиву реплик? Это же легко перегнуть и получить обиды в дружеском чате.
Р
РедакцияРедакция
Марина, в статье автор отмечает, что подколы строятся на реальных цитатах участников и включаются в мягком режиме. А спорные тезисы выносятся в отдельный режим проверки, чтобы не мешать обычной переписке.
DP
dmitry_p
у меня похожий сетап на старом ноуте, только без RAG. история чата в контекст не влезает, модель начинает путаться уже на третьем дне переписки. а тут досье на 15 человек, уважаю
О
Олег
4 ГБ видеопамяти и 5 токенов в секунду — это же терпение надо иметь. Интересно, RAG на таком железе не съедает всю память под индекс?