word2vec перестал быть чёрным ящиком: обучение свели к факторизации и PCA

Как сообщает Хабр, динамику обучения word2vec — популярного способа получать векторные представления слов — удалось описать количественно, а не только на уровне интуиции. По словам авторов, в типичных режимах работа модели соответствует невзвешенному матричному разложению с минимизацией квадратов ошибок, а сами векторы затем получаются через метод главных компонент (PCA).

Отдельный сюжет — как модель набирает семантику. Если инициализировать параметры близко к нулю, обучение идёт дискретными шагами: векторы шаг за шагом образуют ортогональные линейные подпространства, ранг матрицы эмбеддингов растёт, а вместе с ним и её ёмкость. Все эти признаки, по данным источника, вычисляются аналитически.

Для практиков это скорее хорошая новость: у знакомого инструмента появляется предсказуемая теория вместо репутации чёрного ящика.