Исследователи представили комплексный обзор метода LLM-as-a-Judge, который использует мощные языковые модели для автоматизированной оценки качества генераций других ИИ. Работа систематизирует подходы к выбору судей, проектированию промптов и устранению предвзятости, предлагая стандартизированную классификацию методов оценки, что критически важно для разработки надежных пайплайнов тестирования и контроля качества в современных LLM-системах.

Метод LLM-as-a-Judge стал индустриальным стандартом благодаря способности имитировать человеческие предпочтения при оценке сложных задач, таких как написание кода, творческое письмо или логические рассуждения. Однако использование моделей в роли арбитров сопряжено с рядом проблем: от позиционной предвзятости (склонность модели выбирать первый вариант ответа) до ограниченности контекстного окна и высокой стоимости инференса. Авторы анализируют, как различные конфигурации промптов и выбор базовой модели влияют на корреляцию оценок с экспертными данными.

В документе также рассматриваются стратегии минимизации ошибок судейства, включая использование цепочек рассуждений (Chain-of-Thought) перед выставлением оценки и применение методов ансамблирования. Исследование подчеркивает, что выбор «судьи» должен быть обоснован спецификой задачи, так как даже передовые модели демонстрируют разную степень объективности в зависимости от домена и сложности оцениваемого контента.

Ключевые факты

  • Исследование охватывает широкий спектр методов оценки, включая Pairwise Comparison (попарное сравнение) и Reference-based scoring.
  • Выявлены основные типы предвзятости судей: позиционная, предвзятость к длине ответа и предвзятость к стилю изложения.
  • Предложена классификация подходов к LLM-as-a-Judge, разделяющая методы по типу архитектуры и способу взаимодействия с оцениваемой моделью.
  • Описаны лучшие практики проектирования промптов для судей, позволяющие повысить точность оценки до уровня человеческих экспертов.
  • Работа базируется на анализе актуальных научных публикаций и бенчмарков, опубликованных до конца 2024 года.