arXiv · 14.07.2026 ·Оценка и бенчмарки

Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей

Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях.

Проблема заключается в том, что стандартные метрики агрегируют результаты, нивелируя индивидуальные сбои. В контролируемых экспериментах добавление посторонней информации к запросу приводило к тому, что модель начинала игнорировать логику задачи, опираясь на случайные корреляции в «мусорных» данных. Это критически важно для систем, работающих с длинными документами, где полезная информация перемешана с нерелевантным контентом.

Такое поведение указывает на фундаментальные пробелы в методах оценки моделей. Текущие бенчмарки не учитывают чувствительность LLM к структуре промпта и наличию отвлекающих факторов, что делает результаты тестирования недостаточно репрезентативными для бизнес-задач. Разработчикам следует пересмотреть подходы к валидации, фокусируясь не на средних показателях, а на стабильности предсказаний при изменении контекстного окружения.

Ключевые факты

Исследование показало, что высокая общая точность (aggregate accuracy) маскирует значительные колебания в качестве ответов при добавлении нерелевантного контекста.
Эффект «переворота предсказаний» (prediction flips) приводит к тому, что модель меняет верные ответы на ошибочные, сохраняя при этом неизменным средний балл.
Модели демонстрируют высокую чувствительность к шуму, даже если он не содержит явных противоречий или инструкций, сбивающих с толку.
Результаты подчеркивают необходимость внедрения новых метрик оценки, которые учитывают устойчивость модели к вариациям во входных данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Почему публичные бенчмарки LLM часто вводят в заблуждение Публичные бенчмарки для больших языковых моделей часто не отражают реальную производительность при решении прикладных задач. Анализ показывает, что популярные тесты, такие как MMLU или GSM8K, подвержены проблеме «загрязнения» данных, когда тестовые вопросы попадают в обучающую выборку. Это приводит к завышенным результатам, которые не коррелируют с качеством работы моделей в реальных бизнес-сценариях. Hacker News · Оценка и бенчмарки Почему усреднение результатов бенчмарков LLM вводит в заблуждение Исследователи доказали, что агрегирование оценок LLM через простое усреднение баллов по разным бенчмаркам статистически некорректно и искажает реальные возможности моделей. Авторы работы показывают, что из-за разной сложности задач и неравномерного покрытия навыков итоговый рейтинг не отражает истинную производительность, предлагая вместо этого использовать более строгие методы анализа распределения метрик для оценки прогресса ИИ. Hacker News · Оценка и бенчмарки Проблема доверия к количественным метрикам в эпоху LLM Современные бенчмарки для оценки больших языковых моделей часто вводят в заблуждение из-за утечек данных, некачественной разметки и отсутствия репрезентативности. Авторы анализа указывают, что высокие показатели на тестах не гарантируют реальной производительности в задачах, так как модели склонны «зазубривать» ответы, а сами метрики не учитывают контекстуальную сложность и логические ошибки ИИ. arXiv · Оценка и бенчмарки Исследование: почему LLM-судьи склонны к завышению оценок без эталонных ответов Исследователи проанализировали надежность использования LLM в качестве судей для оценки ответов других моделей в задачах без эталонного решения. Выяснилось, что такие «судьи» часто демонстрируют предвзятость и склонны к необоснованному завышению баллов. Это ставит под сомнение точность автоматизированных систем оценки, которые всё чаще применяются для тестирования качества генеративных моделей в условиях отсутствия ground-truth данных. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети. arXiv · Оценка и бенчмарки Проблема длины ответов в бенчмарках LLM: анализ и альтернативные методы оценки Исследователи выявили критический изъян в оценке LLM через бенчмарки с множественным выбором. Ранжирование ответов по условной логарифмической вероятности создает систематическую ошибку длины: модели штрафуют длинные ответы, так как вероятности суммируются по токенам. Стандартная нормализация по длине часто приводит к чрезмерной коррекции, искажая реальные показатели точности и надежности тестируемых моделей. Hacker News · Исследования и наука Почему LLM склонны к галлюцинациям вместо признания незнания Языковые модели часто генерируют неверные ответы из-за особенностей обучения на предсказание следующего токена. Вместо оценки достоверности информации, архитектура трансформеров стремится минимизировать ошибку предсказания, заполняя пробелы в знаниях статистически вероятными, но фактически ложными данными. Это фундаментальное различие между поиском истины и имитацией правдоподобного текста создает проблему галлюцинаций в агентных системах. Hacker News · Оценка и бенчмарки Исследование: обрезанные LLM проваливают тесты на открытые вопросы Исследователи из Стэнфорда и MIT провели исследование, показавшее, что обрезанные (pruned) языковые модели, успешно проходящие тесты с выбором ответа, часто не справляются с задачами, требующими свободного ответа. В статье, опубликованной на arXiv, авторы утверждают, что традиционные бенчмарки могут давать ложное представление о способностях моделей. Hacker News · Исследования и наука Метакогнитивная обратная связь повышает точность оценки неопределенности в LLM Исследователи представили новый метод обучения LLM с использованием метакогнитивной обратной связи (RLMF), который значительно улучшает способность моделей оценивать собственную уверенность в ответах. В отличие от стандартного обучения с подкреплением, этот подход заставляет модель анализировать процесс собственного мышления, что снижает количество галлюцинаций и позволяет точнее определять границы знаний при решении сложных задач. Hacker News · Исследования и наука Ограничения метода имитации проприетарных LLM Исследование показывает, что дообучение моделей с открытым исходным кодом на ответах проприетарных LLM (метод дистилляции) часто приводит лишь к поверхностной имитации стиля, а не к реальному росту интеллектуальных способностей. Авторы доказывают, что такие модели склонны копировать ошибки и галлюцинации «учителя», не приобретая глубинных навыков рассуждения, необходимых для решения сложных задач.

← Все материалы