arXiv · 13.07.2026 ·Исследования и наука

Механистическая интерпретируемость: почему LLM-судьи предвзяты на уровне скрытых состояний

Исследователи представили новый подход к анализу предвзятости моделей, выступающих в роли судей (LLM-as-judge). Вместо анализа входных данных и выходных оценок, авторы изучили скрытые состояния нейросетей. Выяснилось, что систематические ошибки судейства формируются на уровне внутренних представлений модели, что позволяет выявлять и корректировать предвзятость более эффективно, чем через простое изменение промптов.

Традиционные методы оценки предвзятости обычно фокусируются на «черном ящике»: исследователи меняют промпты и замеряют изменения в итоговых баллах. Новый подход, основанный на механистической интерпретируемости, позволяет заглянуть внутрь модели и увидеть, какие именно нейронные активации отвечают за необъективные решения. Это дает возможность проводить интервенции непосредственно в архитектуру модели, устраняя корень проблемы, а не только её внешние проявления.

Авторы протестировали гипотезу на семи различных моделях, подтвердив, что предвзятость судейства имеет четкую математическую структуру в скрытых слоях. Полученные данные открывают путь к созданию более надежных систем автоматической оценки качества контента, где предвзятость (например, предпочтение длинных ответов или специфических стилистических оборотов) может быть подавлена на этапе инференса без потери общей точности модели.

Ключевые факты

Исследование охватило семь различных языковых моделей, используемых в качестве судей.
Анализ показал, что предвзятость LLM-судей можно локализовать в конкретных скрытых состояниях модели.
Метод механистической интерпретируемости позволяет корректировать оценки модели без изменения входных промптов.
Работа доказывает, что предвзятость — это не только проблема формулировки запроса, но и фундаментальная особенность внутренних представлений модели.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Новые методы повышения точности LLM как судей в оценке моделей Исследователи представили усовершенствованные подходы к использованию LLM в качестве «судей» для автоматизированной оценки качества ответов других моделей. Авторы статьи систематизировали методы минимизации предвзятости и повышения корреляции оценок ИИ с человеческими предпочтениями, предложив новые стратегии промптинга и калибровки, которые позволяют значительно точнее определять качество генерации в сложных задачах без привлечения экспертов-людей. arXiv · Оценка и бенчмарки Проблемы использования LLM в качестве судей для мультиязычных задач Исследователи проанализировали ограничения парадигмы LLM-as-a-Judge при работе с многоязычными данными и редкими языками. Хотя использование нейросетей для оценки качества генерации стало стандартом, их эффективность резко падает за пределами английского языка. Авторы работы предлагают рекомендации по адаптации таких систем, чтобы минимизировать предвзятость и повысить точность оценки в условиях нехватки данных для обучения моделей-судей. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса. arXiv · Исследования и наука Языковые модели как базы знаний: анализ согласованности фактов Исследователи проанализировали, насколько языковые модели способны выступать в роли надежных баз знаний. Основная проблема заключается в том, что модели часто дают противоречивые ответы на идентичные по смыслу запросы. Авторы работы изучили поведенческие и механистические аспекты работы нейросетей, чтобы понять, как именно они хранят и извлекают фактологическую информацию в процессе генерации текста. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. arXiv · Оценка и бенчмарки Исследование: насколько мощные модели нужны для проверки цитирования в RAG-системах Исследователи проанализировали, требуется ли использование передовых «фронтирных» моделей для оценки качества цитирования в системах глубокого поиска. В работе оценивается надежность LLM-судей, которые выступают в роли моделей вознаграждения при обучении с подкреплением. Результаты показывают, как уровень «интеллекта» судьи влияет на точность атрибуции источников и какие искажения возникают при автоматизированной проверке утверждений в RAG-системах. Hacker News · Исследования и наука Критика метода линейных зондов в интерпретируемости LLM Исследователи поставили под сомнение эффективность линейных зондов, используемых для поиска «направлений истины» в активациях нейросетей. Анализ показывает, что текущие методы интерпретируемости часто принимают желаемое за действительное, а выявленные векторы правды могут быть лишь артефактами обучения, не отражающими реальные когнитивные процессы модели при обработке фактической информации. arXiv · Исследования и наука Исследование методов отслеживания влияния обучающих данных на ответы LLM Исследователи проанализировали два ключевых подхода к интерпретации поведения больших языковых моделей: оценку сходства данных (data-similarity) и оценку влияния данных (data-influence). Первый метод основан на поиске семантической близости между запросом и обучающей выборкой, что требует значительно меньше вычислительных ресурсов. Второй метод направлен на определение того, как конкретные примеры из обучающего набора напрямую меняют веса модели и влияют на итоговый результат, что считается более точным, но трудоемким процессом. arXiv · Исследования и наука Аудит нейронных сетей: проверка причинно-следственных связей в LLM Исследователи представили новый метод аудита нейронных сетей, позволяющий оценить, какие именно группы нейронов в LLM отвечают за конкретные функции, включая механизмы отказа от вредоносных запросов. Авторы использовали подход «обнуления» строк нейронов, чтобы напрямую проверить, насколько методы атрибуции соответствуют реальным причинно-следственным связям внутри модели, а не просто коррелируют с её поведением при генерации текста.

← Все материалы