Hacker News · 17.06.2026 ·Оценка и бенчмарки

Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях

Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели.

Технология основана на анализе того, как модель соотносит конкретные области изображения с ключевыми словами в ответе. В процессе тестирования алгоритм выявляет логические разрывы, когда модель уверенно описывает детали, не имеющие подтверждения в пиксельной структуре картинки. Это дает возможность количественно оценить надежность ИИ-систем в задачах, требующих высокой точности интерпретации визуального контента, таких как медицинская диагностика или анализ спутниковых снимков.

Внедрение этого метода помогает разработчикам лучше понимать внутренние механизмы принятия решений нейросетями. Вместо того чтобы полагаться на общие показатели точности, исследователи получают детальную карту «неуверенности» модели. Это позволяет не только фиксировать ошибки, но и проводить более качественную донастройку систем, минимизируя риск искажения информации в критически важных сценариях использования.

Источник: Hacker News

Похожие материалы

arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Исследования и наука ClinHallu: новый бенчмарк для диагностики галлюцинаций в медицинских MLLM Исследователи представили ClinHallu — новый бенчмарк для выявления и анализа галлюцинаций в медицинских мультимодальных языковых моделях (MLLM). Проблема галлюцинаций особенно критична в медицине, где ошибки могут привести к неверным клиническим решениям. Существующие бенчмарки фокусируются на сборе данных, но не анализируют, на каком этапе возникают галлюцинации. The Decoder · Оценка и бенчмарки Новый метод прогнозирования ошибок ИИ-моделей до их релиза Исследователи OpenAI представили методологию, позволяющую оценивать частоту возникновения ошибок в работе нейросетей еще до их публичного выпуска. Текущие стандарты тестирования безопасности часто не учитывают специфические сценарии поведения моделей в реальных условиях, что приводит к неожиданным сбоям после развертывания. Новый подход направлен на заполнение этих пробелов и создание более предсказуемой среды для внедрения технологий. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Модели и релизы Новый метод обучения для мультимодального математического мышления Исследователи предложили новый подход к обучению мультимодальных моделей для решения математических задач. В статье на arXiv представлен метод MathVis-Fine, который учитывает сложные зависимости между текстом и изображениями в процессе решения задач. Mistral AI Blog · Инфраструктура для агентов Утечка памяти в vLLM: как её обнаружили и исправили Команда Mistral AI обнаружила и устранила утечку памяти в vLLM — популярном фреймворке для ускоренного инференса больших языковых моделей. Проблема заключалась в неправильной обработке промежуточных данных, что приводило к накоплению ненужной информации в оперативной памяти. arXiv · Модели и релизы Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

← Все материалы