Исследователи представили новый подход к предобучению нейросетей, который интегрирует визуальные данные — графики, формулы и макеты страниц — в процесс обучения языковых моделей. Текущие методы часто игнорируют визуальный контекст, ограничиваясь текстовыми корпусами, что лишает модели доступа к критически важной информации, передаваемой через структуру и визуальные элементы документов.

Авторы работы доказывают, что включение визуальных признаков позволяет моделям лучше понимать сложные научные и технические материалы, где смысл неразрывно связан с визуальным представлением. Традиционные подходы, основанные исключительно на тексте, теряют значительную часть контекста при конвертации документов в простой текстовый формат, что ограничивает глубину «интеллекта» моделей при работе со специализированным контентом.

Метод направлен на создание более универсальных систем, способных воспринимать мультимодальную информацию на уровне архитектуры, а не просто через надстройки. Это открывает путь к созданию моделей, которые эффективнее справляются с анализом технической документации, научной литературы и сложных отчетов, где визуальная верстка несет не меньше смысла, чем само содержание.

Ключевые факты

  • Исследование сфокусировано на интеграции визуальных cues (графики, уравнения, верстка) в процесс предобучения LLM.
  • Текущие методы обучения часто отбрасывают визуальную информацию, что приводит к потере данных при обработке сложных документов.
  • Новый подход позволяет моделям извлекать знания из визуальных представлений, которые невозможно полностью передать через текстовую транскрипцию.
  • Работа подчеркивает необходимость перехода от чисто текстовых корпусов к мультимодальному предобучению для повышения качества понимания сложных структур.