arXiv · 30.07.2026 ·Оценка и бенчмарки

Сжатые LLM проходят стандартные проверки, но теряют надежность в агентных задачах

Исследователи обнаружили критическую уязвимость в методах оценки сжатых языковых моделей. Несмотря на прохождение стандартных тестов на перплексию, точность MMLU и проверку внутренней репрезентации, оптимизированные модели склонны к галлюцинациям при выполнении многошаговых агентных процедур. Стандартные «дешевые» метрики качества не способны выявить скрытые дефекты логики, возникающие после компрессии нейросетей.

Проблема заключается в том, что текущие инструменты контроля качества ориентированы на статические ответы, а не на последовательное планирование. В ходе экспериментов выяснилось, что даже при сохранении высокой точности на классических бенчмарках, сжатые модели начинают выдумывать несуществующие шаги в алгоритмах выполнения задач. Это создает иллюзию надежности, которая разрушается при реальном использовании агентов в сложных рабочих процессах.

Авторы работы подчеркивают, что существующий стек проверок имеет «слепую зону». Разработчикам, внедряющим квантованные или дистиллированные модели в агентные системы, недостаточно полагаться на внутренние сигналы верности (fidelity signals). Необходимы дополнительные поведенческие тесты, имитирующие агентную среду, чтобы гарантировать корректность выполнения инструкций, а не просто статистическое соответствие исходной модели.

Ключевые факты

Сжатые модели успешно проходят тесты на перплексию и MMLU, сохраняя показатели в рамках доверительного интервала.
Стандартные методы проверки внутренней репрезентации через случайные зонды (random probes) не выявляют деградацию агентных способностей.
Основная проблема сжатых моделей — склонность к генерации вымышленных процедурных шагов в многоэтапных задачах.
Исследование указывает на неэффективность «data-free» метрик для оценки безопасности и надежности моделей в агентных сценариях.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. Hacker News · Исследования и наука Влияние агентной обвязки на производительность слабых LLM Исследование анализирует, насколько внешняя агентная «обвязка» (scaffolding) способна компенсировать ограниченные когнитивные способности небольших языковых моделей. Автор показывает, что использование структурированных инструментов, таких как планировщики и циклы обратной связи, позволяет слабым моделям достигать результатов, сопоставимых с более мощными аналогами, однако эффективность такого подхода имеет жесткий предел, определяемый базовой архитектурой модели. Hacker News · Прогнозы и тренды Когда языковые модели станут достаточно хорошими: анализ перспектив Колин Раффель, исследователь ИИ, проанализировал текущую траекторию развития языковых моделей и оценил, когда они достигнут уровня, необходимого для решения сложных задач. Автор ставит под сомнение линейную экстраполяцию успехов, указывая на фундаментальные ограничения в архитектуре трансформеров и методах обучения, которые могут замедлить прогресс в ближайшем будущем, несмотря на рост вычислительных мощностей. Hacker News · Исследования и наука Почему LLM склонны к галлюцинациям вместо признания незнания Языковые модели часто генерируют неверные ответы из-за особенностей обучения на предсказание следующего токена. Вместо оценки достоверности информации, архитектура трансформеров стремится минимизировать ошибку предсказания, заполняя пробелы в знаниях статистически вероятными, но фактически ложными данными. Это фундаментальное различие между поиском истины и имитацией правдоподобного текста создает проблему галлюцинаций в агентных системах. Hacker News · Оркестрация агентов Проблема надежности вызова инструментов в агентных системах Современные агентные фреймворки часто полагаются на способность LLM корректно вызывать внешние инструменты, однако этот процесс не обладает гарантированной надежностью. Разработчики систем автоматизации склонны переоценивать точность моделей при выборе и параметризации функций, что приводит к критическим сбоям в цепочках рассуждений. Для создания стабильных агентов требуется переход от слепого доверия к модели к внедрению строгих механизмов валидации и обработки ошибок. Hacker News · Оценка и бенчмарки Почему большинство систем оценки ИИ-моделей неэффективны Современные методы оценки LLM часто страдают от методологических ошибок, делая результаты тестов нерелевантными для реальных задач. Основная проблема заключается в использовании статических наборов данных и поверхностных метрик, которые не отражают способность модели к рассуждению. В результате разработчики получают завышенные показатели, которые не гарантируют стабильную работу агентов в сложных производственных сценариях. Hacker News · Исследования и наука Почему LLM теряют точность при выполнении длинных циклических задач Исследование выявило критическую проблему в работе больших языковых моделей при выполнении многошаговых итеративных процессов. С увеличением количества циклов вероятность ошибки возрастает экспоненциально из-за накопления отклонений от заданного протокола. Автор анализа вводит понятие «периода полураспада соблюдения протокола», объясняя, почему даже продвинутые модели склонны к деградации логики при выполнении длинных последовательностей действий. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса. Hacker News · Машинное обучение Почему не стоит доверять показателям уверенности LLM Попытки получить от больших языковых моделей оценку уверенности в ответе часто приводят к неверным результатам. Исследования показывают, что LLM склонны к чрезмерной самоуверенности даже при генерации фактических ошибок. Вместо прямой оценки вероятности эксперты рекомендуют использовать альтернативные методы верификации, такие как самопроверка, анализ логитов или сопоставление ответов нескольких моделей для повышения надежности систем. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети.

← Все материалы