Почему LLM спотыкаются на «strawberry»: дело в токенах

Просьба посчитать буквы «r» в слове «strawberry» ломает большинство современных языковых моделей — на это обратил внимание автор разбора на Хабре. Корень проблемы лежит в фундаменте архитектуры трансформеров, а именно в алгоритме BPE (Byte Pair Encoding).

При токенизации текст разбивается не на отдельные буквы, а на более крупные фрагменты — токены. Внутри такого токена символы сливаются в массив, который модель уже не различает по отдельности. Поэтому задача, очевидная для человека, для модели превращается в ребус.

Второй фактор — авторегрессионная природа генерации. Каждый выданный токен фиксирует направление дальнейшего предсказания, и модель не может поменять логику на ходу. Параллельное вычисление весов Query, Key и Value в слоях трансформера, как отмечает автор, превращает статистику соседства токенов в связный текст — но не в посимвольный анализ.