Исследователи проанализировали прогресс Vision-Language моделей (VLM) за последние десять лет, выявив критические недостатки в существующих методах оценки. Традиционные бенчмарки, такие как MS-COCO, опираются на простые визуальные сцены и не учитывают сложные социальные взаимодействия. Авторы представили новый набор данных Complex Social Behavior (CSB), предназначенный для глубокого анализа визуально-когнитивных ошибок ИИ в реальных сценариях.
Основная проблема текущих моделей заключается в их неспособности интерпретировать контекст человеческого поведения, несмотря на высокие показатели в стандартных тестах. Исследование показывает, что большинство систем демонстрируют «поверхностное» понимание изображений, пропуская нюансы социальных взаимодействий. Новый бенчмарк CSB позволяет классифицировать типы ошибок, которые совершают современные модели при анализе динамических сцен с участием людей.
Внедрение специализированных тестов, подобных CSB, необходимо для перехода от распознавания отдельных объектов к полноценному визуальному рассуждению. Это критически важно для развития систем, работающих в средах, где требуется понимание намерений и поведения людей, включая автономную робототехнику и продвинутые системы видеоаналитики.
Ключевые факты
- Исследование охватывает десятилетний период развития мультимодальных моделей (VLM).
- Традиционные бенчмарки (например, MS-COCO) признаны недостаточно эффективными для оценки сложных социальных взаимодействий.
- Представлен новый бенчмарк Complex Social Behavior (CSB) для детального анализа визуально-когнитивных ошибок.
- Выявлено, что современные модели часто демонстрируют «поверхностное» понимание контекста при анализе человеческого поведения.
- Работа сфокусирована на классификации типов ошибок, а не только на метриках точности.