Исследователи представили комплексный метод анализа газетных изображений, отличающихся высокой плотностью и сложной вложенной версткой. Решение объединяет модульный пайплайн на базе YOLO и LayoutReader для определения порядка чтения с подходом «сверху вниз», использующим специализированные визуально-языковые модели. Это позволяет эффективно извлекать данные из гетерогенных макетов, где традиционные алгоритмы распознавания часто допускают ошибки.
Работа фокусируется на преодолении ограничений существующих систем при обработке многоколоночных материалов, врезок и нестандартного расположения графических элементов. Авторы предлагают комбинированную архитектуру, которая позволяет не только сегментировать визуальные блоки, но и корректно восстанавливать логическую последовательность текста, что критически важно для оцифровки архивов и автоматизированной обработки печатных СМИ.
Данный подход демонстрирует значительный прогресс в задачах компьютерного зрения, связанных с анализом документов (Document AI). Использование иерархического понимания структуры позволяет системе различать заголовки, основной текст, рекламные блоки и подписи к изображениям даже в условиях плотной верстки, характерной для периодических изданий.
Ключевые факты
- Разработан модульный пайплайн, объединяющий детекцию макета через YOLO и определение порядка чтения с помощью LayoutReader.
- Метод решает проблему «вложенной иерархии», характерную для газетных полос с высокой плотностью контента.
- Предложенный подход сочетает методы «снизу вверх» (bottom-up) и «сверху вниз» (top-down) для повышения точности сегментации.
- Исследование направлено на автоматизацию обработки сложных документов, где стандартные OCR-системы часто теряют логическую структуру текста.