В декабре 2023 года ML-сообщество всколыхнули два исследователя со статьёй об архитектуре Mamba, как сообщает Хабр. Внутри неё нет механизма attention — той самой опоры, на которой держится большинство современных нейросетей. При этом Mamba обрабатывала длинные тексты в несколько раз быстрее трансформера и требовала меньше памяти.
Принцип другой: вместо попарного сравнения каждого токена с каждым по квадратичной цене Mamba поддерживает одно бегущее состояние и на лету решает, что сохранить, а что отбросить как шум.
Заголовки тех дней звучали в духе «трансформерам конец». Спустя время очевидно: трон трансформеры не потеряли. Но, по оценке источника, история закончилась не провалом очередного хайпа — пока все спорили, кто кого, индустрия сделала третий ход, которого никто не ждал. Какой именно — в заметке не раскрывается.
Источник: Telegram: Хабр
Комментарии
Пока нет комментариев — будьте первым.