Доядерная сталь и «чистые» книги: почему ИИ ищет тексты до ChatGPT

Радиоактивный след первых ядерных испытаний остался не только в истории, но и в металле: с середины прошлого века выплавить сталь без микроскопического радиационного фона практически невозможно. Для чувствительной аппаратуры, включая детекторы радиации, это стало проблемой, и особенно ценится металл, выплавленный до 1945 года. Удобнее всего его добывать с затонувших кораблей — их корпуса ушли под воду до начала атмосферных испытаний. Об этом пишет Telegram-канал «Технологии Яндекса».

С информацией, по мнению авторов канала, складывается похожая ситуация. Нейросетевых текстов становится всё больше, и если новые поколения моделей учить преимущественно на продукции предыдущих, те рискуют утратить редкие паттерны, накопить ошибки и начать выдавать более однообразные ответы.

В июле 404 Media сообщала: компании, работающие с обучающими данными, наращивают закупки печатных книг. Их ключевое достоинство в том, что они заведомо написаны человеком. По аналогии с металлом такие источники называют низкофоновыми — отсчёт ведут от выхода ChatGPT в 2022 году.

Существует и публичный каталог Low-background Steel, где собирают ссылки на книги, архивы и другие материалы без следов генеративного ИИ. Задача — упростить их поиск и сохранение.