arXiv · 10.07.2026 ·Исследования и наука

Почему мультимодальные модели ошибаются в подсчете объектов

Исследователи проанализировали причины, по которым современные мультимодальные модели (VLM) часто допускают ошибки при подсчете объектов на изображениях. Выяснилось, что проблема заключается не в отсутствии знаний у модели, а в неэффективном преобразовании внутренних представлений в текстовый ответ. Использование нелинейных зондов позволило успешно извлечь точную информацию о количестве объектов из скрытых состояний нейросетей.

Авторы работы протестировали четыре популярные архитектуры VLM на пяти различных наборах данных для задач счета. Эксперименты показали, что внутренние слои моделей содержат достаточно данных для точного определения количества, однако процесс декодирования этих данных в слова часто приводит к рассинхронизации. Это указывает на то, что текущие методы обучения моделей не уделяют должного внимания точности вербализации количественных характеристик.

Результаты исследования подчеркивают необходимость корректировки методов обучения, направленных на улучшение связи между визуальными признаками и их текстовым описанием. Вместо того чтобы увеличивать масштаб моделей, разработчикам предлагается сфокусироваться на улучшении механизмов считывания информации из скрытых слоев, что может значительно повысить надежность ИИ в задачах, требующих количественного анализа визуальных данных.

Ключевые факты

Исследование охватило четыре различные архитектуры мультимодальных моделей (VLM).
Анализ проводился на пяти специализированных датасетах, предназначенных для оценки навыков счета.
Установлено, что нелинейные зонды способны извлекать точные данные о количестве объектов из активаций моделей.
Основная причина ошибок кроется в разрыве между внутренними представлениями модели и их последующей вербализацией.
Предложенный подход позволяет корректировать ошибки счета без необходимости полного переобучения всей модели.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки Исследование эволюции ошибок в мультимодальных моделях за последнее десятилетие Исследователи проанализировали прогресс Vision-Language моделей (VLM) за последние десять лет, выявив критические недостатки в существующих методах оценки. Традиционные бенчмарки, такие как MS-COCO, опираются на простые визуальные сцены и не учитывают сложные социальные взаимодействия. Авторы представили новый набор данных Complex Social Behavior (CSB), предназначенный для глубокого анализа визуально-когнитивных ошибок ИИ в реальных сценариях. arXiv · Исследования и наука Пределы эффективности мультимодельных систем ИИ Исследователи проанализировали 67 передовых языковых моделей и выявили фундаментальное ограничение для систем, объединяющих несколько ИИ (роутинг, голосование, ансамбли). Оказалось, что точность таких систем ограничена показателем «ко-отказа»: если все модели в системе ошибаются на одном и том же запросе, никакая комбинация не сможет исправить этот результат, что создает жесткий «потолок» производительности. arXiv · Оценка и бенчмарки Исследование устойчивости VLM к визуальным искажениям при распознавании текста Исследователи проанализировали устойчивость мультимодальных моделей (VLM) к деградации изображений при выполнении задач OCR-рассуждений. Работа выявила, что даже незначительные визуальные помехи существенно снижают точность распознавания и логических выводов моделей. Авторы представили методологию оценки, позволяющую измерить влияние структурных искажений и шума на способность нейросетей интерпретировать текст на сложных визуальных данных. Hacker News · Безопасность и алайнмент Исследование галлюцинаций ИИ при раскрытии финансовой информации Новое исследование анализирует проблему «галлюцинаций» в больших языковых моделях при обработке корпоративной финансовой отчетности. Авторы работы выявили, что ИИ-системы склонны к генерации недостоверных данных, когда сталкиваются со сложными математическими вычислениями в контексте раскрытия информации. Это создает серьезные риски для автоматизированных систем финансового анализа, требующих высокой точности и проверяемости данных в отчетности. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса. arXiv · Исследования и наука Новый метод обучения LVLM через визуально обоснованную саморефлексию Исследователи представили метод обучения мультимодальных моделей (LVLM), который улучшает их способность к саморефлексии через подкрепление (RL). В отличие от стандартных моделей, которые часто игнорируют визуальные данные при исправлении ошибок, новый подход заставляет нейросеть опираться на исходное изображение при анализе цепочки рассуждений, что значительно повышает точность коррекции логических выводов. Hacker News · Исследования и наука Почему LLM склонны к галлюцинациям вместо признания незнания Языковые модели часто генерируют неверные ответы из-за особенностей обучения на предсказание следующего токена. Вместо оценки достоверности информации, архитектура трансформеров стремится минимизировать ошибку предсказания, заполняя пробелы в знаниях статистически вероятными, но фактически ложными данными. Это фундаментальное различие между поиском истины и имитацией правдоподобного текста создает проблему галлюцинаций в агентных системах. Lobsters · Машинное обучение Исследование: ошибки разметки в популярных ML-бенчмарках Исследователи проанализировали качество тестовых наборов данных в популярных бенчмарках машинного обучения и обнаружили значительное количество ошибок разметки. В таких широко используемых датасетах, как ImageNet, CIFAR-10 и QuickDraw, доля неверно размеченных примеров достигает 6%, что ставит под сомнение точность оценки современных моделей и их реальную способность к обобщению на чистых данных.

← Все материалы