Hacker News · 11.07.2026 ·Оценка и бенчмарки

Индекс разногласий ИИ: модели почти никогда не сходятся в оценке инструментов

Исследователи представили AI Disagreement Index — метрику, анализирующую консенсус между ведущими языковыми моделями при выборе оптимальных инструментов для решения задач. В ходе тестирования 8 популярных LLM ни разу не пришли к единому мнению по 16 предложенным сценариям, что подчеркивает высокую степень субъективности и непредсказуемости в агентных цепочках принятия решений.

Проект Deep Synthesis проанализировал поведение моделей при выборе программного обеспечения для выполнения конкретных операций. Результаты показывают, что даже при идентичных вводных данных модели демонстрируют радикально разные предпочтения, что создает серьезные риски для автоматизированных систем, полагающихся на выбор инструментов в реальном времени. Отсутствие стандартизированных критериев оценки качества инструментов приводит к тому, что агентные системы могут выбирать принципиально разные пути решения одной и той же задачи.

Данное исследование ставит под сомнение надежность текущих методов автоматического выбора инструментов (tool calling) в сложных пайплайнах. Если модели не способны достичь консенсуса в простых сценариях, это требует пересмотра подходов к валидации агентных решений и внедрения более строгих механизмов контроля за тем, какие инструменты и на каком основании выбирает ИИ-система.

Ключевые факты

В тестировании участвовало 8 различных языковых моделей.
Исследование охватило 16 уникальных сценариев выбора инструментов.
Зафиксировано 0 случаев полного согласия между всеми моделями по выбору «лучшего» инструмента.
Индекс наглядно демонстрирует отсутствие единого стандарта оценки эффективности инструментов в экосистеме LLM.
Проект направлен на выявление проблем в агентной логике и автоматизации выбора ПО.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Исследование: ансамбли LLM редко превосходят лучшие одиночные модели Масштабное исследование 67 различных языковых моделей показало, что стратегии объединения нескольких LLM в ансамбли для улучшения ответов зачастую не дают значимого прироста качества. В большинстве случаев производительность комбинированной системы ограничена возможностями самой сильной модели в группе, что ставит под сомнение эффективность сложных схем оркестрации для повышения точности генерации. Hacker News · Оценка и бенчмарки Комбинирование LLM редко превосходит лучшие одиночные модели Исследование 67 передовых языковых моделей показало, что методы ансамблирования и объединения LLM зачастую не дают значимого прироста производительности по сравнению с использованием одной топовой модели. Несмотря на популярность стратегий объединения ответов, результаты тестов демонстрируют, что сложность внедрения таких систем редко оправдывается качественным скачком в точности или надежности генерации ответов. arXiv · Исследования и наука Исследование: в диалогах LLM между собой возникают устойчивые состояния-аттракторы Исследователи проанализировали динамику взаимодействия больших языковых моделей в многоходовых диалогах. Выяснилось, что в ходе дискуссий модели склонны переходить в «состояния-аттракторы» — устойчивые паттерны поведения, которые не зависят от изначальной темы обсуждения. Это открытие ставит под сомнение предсказуемость долгосрочных агентных взаимодействий и указывает на наличие скрытых ограничений в архитектуре современных LLM. arXiv · Исследования и наука Пределы эффективности мультимодельных систем ИИ Исследователи проанализировали 67 передовых языковых моделей и выявили фундаментальное ограничение для систем, объединяющих несколько ИИ (роутинг, голосование, ансамбли). Оказалось, что точность таких систем ограничена показателем «ко-отказа»: если все модели в системе ошибаются на одном и том же запросе, никакая комбинация не сможет исправить этот результат, что создает жесткий «потолок» производительности. Hacker News · Оценка и бенчмарки Проблемы использования LLM в качестве судей для оценки ИИ-агентов Современные подходы к тестированию ИИ-агентов все чаще полагаются на автоматизированную оценку с помощью других языковых моделей, так называемых «LLM-as-a-judge». Однако практика показывает, что такие судьи склонны к предвзятости и поверхностному анализу. В ходе экспериментов исследователи обнаружили, что модели-судьи могут выставлять высокие баллы ответам агентов, даже если те не выполнили ключевые действия — например, не открыли необходимый для решения задачи файл. Hacker News · Исследования и наука Исследование: насколько можно доверять LLM при анализе данных (EDA) Исследователи проанализировали применимость больших языковых моделей для проведения разведочного анализа данных (EDA). В работе оценивается способность ИИ-агентов самостоятельно выполнять стандартные этапы работы с датасетами: от первичной очистки и выявления пропусков до построения статистических гипотез и визуализации распределений. Авторы статьи сфокусировались на том, насколько точно модели интерпретируют структуру табличных данных и избегают галлюцинаций при генерации кода для анализа. Hacker News · Оценка и бенчмарки Сравнительный тест 12 топовых LLM в разработке реальных приложений Исследователи протестировали 12 актуальных языковых моделей, включая GPT-4o, Claude 3.5 Sonnet и Grok, предложив им создать четыре идентичных программных приложения с нуля. Эксперимент показал существенные различия в способности моделей справляться с комплексными задачами кодинга, управлением состоянием и исправлением ошибок, что позволяет оценить реальную эффективность современных ИИ-агентов в задачах разработки ПО. arXiv · ИИ в бизнесе Проблемы тестирования LLM-приложений в реальных условиях Исследователи проанализировали работу ИИ-ассистента для поиска недвижимости, который объединяет работу больших языковых моделей, поддержку нескольких международных рынков и динамический фронтенд. Несмотря на наличие автоматизированного набора из 1553 тестов, которые успешно проходили проверку, пользователи продолжали сталкиваться с критическими ошибками в интерфейсе. Это выявило разрыв между технической «зеленой зоной» тестов и реальным поведением системы в условиях непредсказуемых внешних данных. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса.

← Все материалы