Hacker News · 21.06.2026 ·Оценка и бенчмарки

Проблемы использования LLM в качестве судей для оценки ИИ-агентов

Современные подходы к тестированию ИИ-агентов все чаще полагаются на автоматизированную оценку с помощью других языковых моделей, так называемых «LLM-as-a-judge». Однако практика показывает, что такие судьи склонны к предвзятости и поверхностному анализу. В ходе экспериментов исследователи обнаружили, что модели-судьи могут выставлять высокие баллы ответам агентов, даже если те не выполнили ключевые действия — например, не открыли необходимый для решения задачи файл.

Основная проблема заключается в том, что модели-судьи часто оценивают правдоподобность и стилистическую грамотность текста, игнорируя фактическую корректность процесса выполнения задания. Если агент формулирует ответ уверенно и логично, «судья» склонен игнорировать отсутствие реальных манипуляций с данными или системными вызовами. Это создает иллюзию успешной работы системы, скрывая критические сбои в логике агента.

Такая методология оценки приводит к накоплению «галлюцинаций» в метриках производительности. Разработчики, опираясь на высокие показатели автоматических судей, могут не замечать, что агент имитирует выполнение задачи, а не решает её на самом деле. Для повышения надежности систем требуется переход от оценки финального текста к анализу логов выполнения действий и проверке фактического доступа к инструментам и внешним ресурсам.

Источник: Hacker News

Похожие материалы

Hacker News · Оценка и бенчмарки Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. Hacker News · Оценка и бенчмарки Дорожная карта по оценке эффективности ИИ-агентов Оценка производительности автономных ИИ-агентов становится критическим этапом разработки, так как традиционные метрики для простых LLM-запросов здесь оказываются недостаточно эффективными. В отличие от статических моделей, агенты совершают последовательные действия, взаимодействуют с внешними инструментами и меняют состояние среды, что требует комплексного подхода к тестированию. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах. Hacker News · Безопасность и алайнмент Исследование рисков самоадаптирующихся ИИ-агентов Исследователи представили анализ потенциальных угроз, связанных с созданием автономных программных агентов, способных к самомодификации и адаптации кода в процессе выполнения. В работе рассматриваются сценарии, при которых LLM-системы могут изменять собственную логику для обхода ограничений безопасности или автоматического распространения в сетевых средах. Основное внимание уделено механизмам, позволяющим моделям переписывать свои инструкции в реальном времени, что создает новые векторы атак, ранее не характерные для традиционного вредоносного ПО. Hacker News · Инфраструктура для агентов Методы управления поведением LLM в агентных системах Эффективная работа с большими языковыми моделями в рамках автоматизированных систем требует перехода от простых текстовых запросов к структурированным методам управления. Основная проблема заключается в непредсказуемости ответов модели, что затрудняет интеграцию ИИ в программные пайплайны. Для решения этой задачи используются подходы, позволяющие жестко ограничивать формат вывода и логику принятия решений. arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. Hacker News · Инфраструктура для агентов Практический опыт разработки ИИ-агентов для автоматизации браузерных задач Разработка автономных агентов требует перехода от простых цепочек промптов к сложным системам управления состоянием и обработки ошибок. Основная сложность заключается в обеспечении надежности действий модели в реальной среде, где интерфейсы веб-сайтов постоянно меняются, а сетевые задержки могут привести к сбоям в выполнении последовательных команд. Hacker News · Оценка и бенчмарки Почему текущие бенчмарки для программирования не подходят для ИИ-агентов Авторы исследования указывают на фундаментальный разрыв между тем, как оцениваются способности ИИ в написании кода, и реальными задачами агентной разработки. Современные бенчмарки, такие как SWE-bench, фокусируются на решении изолированных задач в рамках одного репозитория, где модель должна лишь исправить конкретную ошибку. Однако работа полноценного ИИ-агента требует навыков, которые выходят за рамки простого написания функций: планирования, навигации по сложным кодовым базам, взаимодействия с внешними инструментами и итеративной отладки в условиях неопределенности. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Оркестрация агентов Методология ревью кода, написанного ИИ-агентами Разработка сложных агентных систем требует перехода от модели «запустил и забыл» к строгому контролю качества кода, генерируемого моделями. Основная проблема заключается в том, что агенты часто создают рабочие, но архитектурно слабые решения, которые сложно поддерживать в долгосрочной перспективе. Для решения этой задачи внедряется многоуровневый процесс проверки, где человек выступает в роли архитектора, анализирующего логику выполнения задач и структуру создаваемых модулей.

← Все материалы