Hacker News · 16.06.2026 ·Оценка и бенчмарки

Как оценивают LLM-судей с помощью возмущающих тестов

Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах.

Возмущающие тесты включают в себя добавление шума, изменение порядка слов и другие манипуляции с входными данными. Это помогает выявить слабые места моделей и улучшить их точность при работе с неструктурированными запросами.

Forus отмечает, что такой подход особенно полезен для оценки моделей, предназначенных для работы в сложных средах, где входные данные могут быть неполными или искажёнными. Метод уже используется в их внутренних тестах и показывает высокую эффективность.

Компания планирует открыть доступ к своим инструментам для оценки LLM-судей в ближайшее время, что может стать важным шагом для развития агентных систем.

Источник: Hacker News

Похожие материалы

Hacker News · Оценка и бенчмарки Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · Исследования и наука Исследование: как LLMs справляются с юридическими рассуждениями Учёные из Стэнфорда и MIT провели исследование, посвящённое способности языковых моделей (LLMs) решать юридические задачи и автоматически формализовать правовые тексты. В работе, опубликованной на arXiv, авторы оценили точность и последовательность моделей в интерпретации законов и применении их к конкретным случаям. The Gradient · Память и RAG Как LLMs меняют финансовые рынки и инвестиции В 2023 году ИИ-революция привлекла огромные инвестиции в частные и публичные компании, а также завоевала внимание широкой аудитории. Одним из ключевых драйверов этого роста стали большие языковые модели (LLMs), которые лежат в основе таких продуктов, как ChatGPT. Эти модели демонстрируют удивительную способность моделировать последовательности токенов, представляющих слова или их части, что открывает новые возможности для анализа и прогнозирования на финансовых рынках. Hacker News · Память и RAG Как LLMs меняют работу инженеров Исследование компании Aha.io показывает, как языковые модели меняют подходы инженеров к разработке. По данным опроса, 78% инженеров используют LLMs для генерации кода, 65% — для отладки, а 52% — для проектирования архитектуры. Это существенный сдвиг в индустрии, который требует пересмотра процессов и инструментов. Hacker News · Память и RAG Как LLM-агент взламывает Salesforce Sites Исследователи из Reco.ai продемонстрировали, как LLM-агент может автоматизировать процесс тестирования безопасности сайтов, построенных на Salesforce Sites. В их эксперименте агент использовал методы, аналогичные тем, которые применяют хакеры, чтобы находить уязвимости в системах. Это важно для разработчиков ИИ-агентов, так как показывает, как можно использовать LLM для автоматизации сложных задач, требующих анализа и принятия решений. Hacker News · Оценка и бенчмарки Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. Hacker News · Оркестрация агентов GEDD: фреймворк для оценки LLM на основе системных доказательств Команда AWS представила GEDD (Generative Evidence Driven Decisions) — фреймворк, который позволяет использовать LLM в качестве судьи для оценки качества решений. GEDD систематически собирает и анализирует доказательства, чтобы принимать обоснованные решения. Это особенно полезно для задач, где требуется высокая степень точности и прозрачности, таких как медицинские диагнозы, юридические консультации или финансовые анализы.

← Все материалы