Команда Яндекса объяснила, почему омни-модели могут стать следующим шагом в развитии искусственного интеллекта. Об этом в телеграм-канале «Технологии Яндекса» написал Алексей Григорьев, руководитель группы алайнмента VLM.
Раньше нейросети специализировались на одном типе данных: тексте или изображениях. Потом появились VLM — языковые модели с визуальным модулем через программный адаптер. А в последние годы набирает популярность подход, при котором модель с нуля обучают сразу на нескольких модальностях, без промежуточных надстроек. Такие системы называют омни-моделями (от латинского omnis — «всё»).
Создавать их сложнее, чем узкоспециализированные нейросети, но в эксплуатации выгоднее: одна модель заменяет несколько, и сервисам не приходится переключаться между разными системами. По словам Григорьева, именно в этом кроется главный эффект — синергия модальностей. Улучшение в одной области подтягивает другую.
Пример из практики: во время обучения омни-модели Alice AI на текстовых данных она стала лучше справляться и с изображениями. Такие системы улавливают связи между картинкой и словом — например, могут сочинить стихотворение по фотографии. За счёт этого они ближе к целостному восприятию, которое свойственно человеку.
Исследователи не исключают появления эмерджентных способностей — навыков, которые не закладывались разработчиками. В частности, омни-модель может научиться понимать физику реального мира. Пока инженеры решают более приземлённую задачу: балансируют качество текстовых и визуальных ответов внутри одной системы. В перспективе разные модальности должны слиться в единый механизм.
Источник: Telegram: Технологии Яндекса
Комментарии 2