Вектор из методички: как учебник девяностых предсказал приём современных нейросетей

Об этом рассказывает публикация на Хабре: в задачнике девяностых посреди упражнений по линейной алгебре молекулу воды предлагалось записать как вектор (2, 0, 1), а метана — как (4, 1, 0). Дальше автор без пояснений переходил к линейной зависимости векторов, словно записать вещество тремя числами — обычное дело.

Сначала это выглядит как учебная вольность ради задачки. Но если посидеть над строчкой с карандашом, приходит другая мысль: методичка задолго до нынешнего хайпа описала ровно тот приём, на котором стоят и предсказание структуры белка, и языковые модели. Просто тогда у него не было модного названия.

Речь о представлении объектов числами — том самом, что сегодня называют эмбеддингами. В нейросетях слова, молекулы и изображения тоже превращают в наборы чисел, а модель ищет в них закономерности. Автор задачника решал куда более скромную задачу, но принцип угадал.