Разработчики ИИ-моделей столкнулись с ограничением: объём доступных публичных текстов может быть исчерпан после 2028 года. В качестве решения начали применять синтетические данные, генерируемые самими нейросетями. Однако выяснилось, что такой подход приводит к деградации моделей.
Эксперимент с Википедией
Группа учёных из Оксфордского и Кембриджского университетов, а также Университета Торонто провела эксперимент. Модель дообучили на статьях Википедии, затем попросили сгенерировать новые тексты, на которых обучили следующую версию, и повторили цикл несколько раз. На девятом этапе модель, отвечая на вопрос о церковной архитектуре, неожиданно заговорила о зайцах с синими и красными хвостами. Это явление, при котором ИИ с каждым циклом искажает синтетические данные, назвали коллапсом модели.
Позже исследование подверглось критике: в реальных проектах разработчики редко используют исключительно синтетические тексты. Обычно их добавляют к человеческим, что снижает риск ошибок, ведущих к коллапсу.
Смешивание данных ускоряет обучение
В 2025 году другая группа исследователей провела отдельный эксперимент. Выяснилось, что обучение модели значительно ускоряется, если датасет на две трети состоит из обычных данных и на треть — из переписанных нейросетью. Сгенерированный текст чище и структурированнее, а живые данные сохраняют разнообразие языка.
Поэтому созданные человеком тексты остаются стратегическим ресурсом. Компании активно закупают архивы газет, заключают контракты с платформами типа Reddit и нанимают экспертов для написания текстов на узкие темы.
Что это значит
Сегодня развитие моделей всё меньше сводится к простому увеличению объёма текстов. Значительная часть прогресса достигается за счёт обучения рассуждениям — в том числе через синтетические задачи и обучение с подкреплением (RL). Дефицит человеческих текстов остаётся проблемой, но уже не выглядит непреодолимым препятствием, как считалось ранее.
Как сообщает Telegram-канал «Технологии Яндекса», исследователи продолжают искать баланс между синтетическими и человеческими данными.
Источник: Telegram: Технологии Яндекса
Комментарии 3