Почему LLM путается в буквах: взгляд внутрь токенов и весов

Классический пример: вопрос, сколько букв «R» в слове «strawberry», долго ставил языковые модели в тупик — они уверенно называли неверное число. Как разбирает Хабр, причина не в неумении считать, а в устройстве входа: модель не видит отдельных символов. Она получает токены — числовые идентификаторы фрагментов, на которые распадается слово, и «strawberry» для неё не набор букв, а несколько кусков.

Дальше начинается основная механика. Токены превращаются в векторы, и в этом пространстве работают арифметические соотношения вроде «king − man + woman ≈ queen». Сравнением векторов занимается механизм внимания, а фактические знания — например, что Париж является столицей Франции — хранятся в конкретных весах. Их, по описанию автора, можно точечно переписать и «переселить» Эйфелеву башню в Рим без переобучения модели.

Именно из токенов, векторов и внимания складывается вся работа системы вплоть до предсказания следующего слова. Разбор полезен тем, кто хочет понимать, откуда берутся странные ошибки моделей и почему их знания поддаются локальной правке.