Исследователи изучили, как мультимодальные модели (VLM) используют визуальные данные при генерации цепочек рассуждений (Chain-of-Thought). Авторы работы проанализировали, требуется ли моделям постоянный доступ к визуальным токенам на каждом этапе генерации или они опираются на информацию, извлеченную на ранних стадиях обработки. Результаты показывают, что визуальные границы доступа критически влияют на точность логических выводов.
В рамках исследования была представлена концепция Visual Access Boundaries, которая позволяет отследить, в какой момент модель перестает эффективно использовать исходное изображение и переключается на внутреннее текстовое представление. Это помогает понять, как именно «мыслят» современные архитектуры при обработке сложных визуальных задач и где возникают ошибки в интерпретации графических данных.
Полученные данные указывают на то, что текущие методы CoT не всегда оптимально используют визуальный контекст. При увеличении длины рассуждений модели могут терять связь с исходным изображением, что приводит к галлюцинациям или потере точности. Понимание этих границ необходимо для оптимизации архитектур VLM и улучшения их способности к долгосрочному логическому выводу на основе мультимодальных входных данных.
Ключевые факты
- Исследование сфокусировано на анализе поведения Vision-Language Models при использовании стратегии Chain-of-Thought.
- Введена концепция Visual Access Boundaries для определения зависимости модели от визуальных токенов в процессе генерации.
- Выявлено, что эффективность использования визуальной информации снижается по мере удлинения цепочки рассуждений.
- Работа направлена на устранение разрыва между визуальным восприятием и текстовым логическим выводом в современных моделях.