Энтузиаст нашёл в LLM «слой смысла» и научился им управлять

Пользователь Хабрa решил выяснить, существует ли у больших языковых моделей промежуточный этап, где идея уже сформирована, но ещё не облечена в слова. Не английский, не программный код и не набор удачных формулировок, а некий внутренний уровень, предшествующий тексту.

В ходе эксперимента он отыскал в модели вектор, соответствующий этому «ходу мыслей», и попробовал менять его величину. При усилении параметра модель становилась более осмотрительной, при ослаблении — действовала резко и прямолинейно. При этом сам «поток сознания» пока не поддаётся чтению, зато ближе к выходу он проявляется сразу на нескольких языках.

Как сообщает Хабр, результат получен за пару вечеров. Работа показывает, что генерация текста у LLM — не одномоментный выбор слова, а последовательность скрытых преобразований, и часть из них можно направленно регулировать.