Hacker News · 13.06.2026 ·Оркестрация и оценка ИИ-агентов

GEDD: фреймворк для оценки LLM на основе системных доказательств

Команда AWS представила GEDD (Generative Evidence Driven Decisions) — фреймворк, который позволяет использовать LLM в качестве судьи для оценки качества решений. GEDD систематически собирает и анализирует доказательства, чтобы принимать обоснованные решения. Это особенно полезно для задач, где требуется высокая степень точности и прозрачности, таких как медицинские диагнозы, юридические консультации или финансовые анализы.

Фреймворк включает в себя модули для сбора данных, анализа доказательств и принятия решений. Он может быть интегрирован с различными LLM, что делает его гибким инструментом для разработчиков ИИ-агентов. GEDD также предоставляет API для легкой интеграции с существующими системами.

Одним из ключевых преимуществ GEDD является его способность обрабатывать большие объемы данных и предоставлять обоснованные рекомендации. Это делает его полезным для задач, где требуется высокая степень точности и прозрачности. Например, в медицинской сфере GEDD может помочь врачам принимать более обоснованные решения, анализируя данные пациентов и предоставляя рекомендации на основе системных доказательств.

Для разработчиков ИИ-агентов GEDD представляет собой важный инструмент, так как он позволяет автоматизировать процесс оценки качества решений. Это может значительно улучшить производительность агентов и повысить их надежность. Кроме того, GEDD может быть использован для обучения и тестирования ИИ-агентов, что делает его полезным инструментом для разработчиков и исследователей.

Источник: Hacker News

Похожие материалы

Hacker News · Многомодальные LLM и оценка Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. arXiv · ИИ и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Фреймворки для ИИ-агентов Galdor – фреймворк для LLM-агентов на Go с трассировкой и воспроизведением Команда YasserCR представила Galdor – фреймворк для создания LLM-агентов на языке Go. Основное отличие Galdor от существующих решений – встроенные механизмы трассировки и воспроизведения, которые позволяют отслеживать работу агентов и анализировать их поведение. Это особенно важно для отладки и улучшения качества агентов, так как позволяет визуализировать цепочки действий и выявлять ошибки. The Gradient · ИИ и финансовые рынки Как LLMs меняют финансовые рынки и инвестиции В 2023 году ИИ-революция привлекла огромные инвестиции в частные и публичные компании, а также завоевала внимание широкой аудитории. Одним из ключевых драйверов этого роста стали большие языковые модели (LLMs), которые лежат в основе таких продуктов, как ChatGPT. Эти модели демонстрируют удивительную способность моделировать последовательности токенов, представляющих слова или их части, что открывает новые возможности для анализа и прогнозирования на финансовых рынках. arXiv · ИИ-агенты в научных исследованиях EurekAgent: как ИИ-агенты автоматизируют научные открытия Исследователи из MIT и других ведущих университетов представили EurekAgent — фреймворк, который демонстрирует, как LLM-основанные агенты могут автоматизировать научные открытия. В статье, опубликованной на arXiv, авторы показывают, что при наличии оптимизируемого метрика и подходящей среды выполнения, агенты способны предлагать, проверять и итерировать научные решения, превосходя человеческие подходы. Hacker News · Оркестрация ИИ-агентов Новый фреймворк для консультации агентов с другими моделями Разработчики из Rainе представили фреймворк Consult-LLM, который позволяет ИИ-агентам консультироваться с другими языковыми моделями. Это решение может значительно расширить возможности агентов, предоставляя им доступ к знаниям и экспертизе различных моделей. arXiv · ИИ-агенты и память DYNA: динамическая память для ИИ-агентов на основе временных графов Исследователи из MIT и других университетов предложили фреймворк DYNA, который решает проблему забывания знаний у больших языковых моделей (LLM). DYNA использует временной знаний граф, где события — это узлы, а временные отношения — направленные, временно помеченные рёбра. Этот граф служит внешней, обновляемой памятью, что позволяет LLM работать с новыми данными без переобучения. Hacker News · Оркестрация и разрешение противоречий Универсальный фреймворк для разрешения противоречий в ИИ-агентах Исследователи представили новый фреймворк для разрешения противоречий в различных доменах, что может стать важным инструментом для разработки ИИ-агентов. Фреймворк позволяет анализировать и устранять противоречия в данных, что особенно актуально для агентов, работающих с разнородными источниками информации. arXiv · ИИ-агенты и RAG DEEPRUBRIC улучшает обучение ИИ-агентов через рубричное подкрепление Исследователи из MIT и других ведущих университетов представили DEEPRUBRIC — метод, который использует рубричное подкрепление для повышения эффективности обучения ИИ-агентов, специализирующихся на создании длинных отчетов. В основе метода лежит использование дерева доказательств, которое помогает агентам анализировать и синтезировать информацию из различных источников. arXiv · Оркестрация знаний для ИИ-агентов Agents-K1: новый подход к оркестрации научных знаний для ИИ-агентов Исследователи из MIT и других ведущих университетов представили Agents-K1 — фреймворк, направленный на улучшение научной оркестрации знаний для ИИ-агентов. В отличие от существующих решений, которые часто ограничиваются поверхностным анализом научных работ, Agents-K1 фокусируется на ключевых сущностях, утверждениях, доказательствах, механизмах и методологических линиях, что критически важно для научного мышления.

← Все материалы