Скан советской газеты для человека — просто выцветшая страница. Для алгоритма — десятки тесно стоящих прямоугольников, нестандартные шрифты и неоднозначный порядок чтения: где заканчивается заголовок, куда ведёт продолжение в соседней колонке, что относится к подписи под фотографией. Об этом рассказывает публикация на Хабре, посвящённая проекту PereStruct.

Соблазн очевиден: отдать картинку большой мультимодальной модели и получить готовый текст одним запросом, без детектора, распознавания и сборщика структуры. На практике, по описанию авторов, VLM дописывает несуществующие фрагменты, зацикливает фразы и склеивает соседние статьи в одну.

Поэтому в PereStruct пошли другим путём — собрали пайплайн из отдельных узких компонентов, у каждого своя проверяемая задача. Вместе с парсером команда выложила открытый датасет. Деталей в источнике немного, но сам подход показателен: там, где нужна точность на грязных исторических сканах, модульная схема пока надёжнее одного универсального запроса.

Источник: Telegram: Хабр

Понравился материал?
Подписывайтесь — так вы не пропустите новые.
RSS-лента

Комментарии

Будьте вежливы — это делает обсуждение лучше

Пока нет комментариев — будьте первым.