Hacker News · 17.06.2026 ·Оценка и бенчмарки

Представлен бенчмарк для оценки качества ИИ в теологическом консультировании

Исследователи представили FMG-Bench — специализированный набор данных и методологию для оценки способности больших языковых моделей выступать в роли духовных наставников. Инструмент предназначен для проверки того, насколько корректно и этично ИИ справляется с теологическими вопросами и предоставлением пастырских рекомендаций в сложных жизненных ситуациях.

Бенчмарк включает в себя классификацию запросов по уровню сложности и соответствию догматическим нормам. Тестирование охватывает способность моделей распознавать контекст, проявлять эмпатию и избегать вредных советов при работе с пользователями, находящимися в состоянии эмоционального или духовного кризиса. Особое внимание уделяется точности интерпретации религиозных текстов и соблюдению границ профессиональной этики при имитации консультативной деятельности.

Результаты исследования показывают значительные различия в качестве ответов между современными архитектурами моделей, особенно в задачах, требующих глубокого понимания теологических нюансов. Разработчики FMG-Bench подчеркивают, что использование ИИ в столь чувствительных сферах требует строгих механизмов контроля, так как ошибки в интерпретации или неверный тон могут иметь серьезные последствия для пользователей. Данная работа задает стандарты для оценки безопасности и надежности специализированных ИИ-систем, работающих с человеческим мировоззрением и психологическим состоянием.

Источник: Hacker News

Похожие материалы

Hacker News · Оценка и бенчмарки RedlineBench: оценка навыков ИИ в ведении контрактных переговоров Исследователи представили RedlineBench — специализированный бенчмарк для оценки способности больших языковых моделей вести многоходовые переговоры по юридическим контрактам. В отличие от стандартных тестов на знание права, этот инструмент фокусируется на практическом применении навыков: умении аргументированно вносить правки, учитывать интересы сторон и достигать компромисса в условиях меняющихся требований. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах. arXiv · Оценка и бенчмарки Исследование: как ИИ справляется с юридическим мышлением по стандартам ЕС Исследователи из arXiv выявили пробел в оценке способностей ИИ-моделей выполнять юридическое мышление. Существующие бенчмарки фокусируются на вспомогательных задачах, а не на интерпретации правовых норм, что критически важно для применения ИИ в юриспруденции. arXiv · Оценка и бенчмарки Новый бенчмарк для оценки работы языковых моделей в диагностических диалогах Исследователи представили DiagFlowBench — новый бенчмарк для оценки способности языковых моделей обрабатывать запросы, выходящие за рамки стандартных процедур в диагностических диалогах. Языковые модели всё чаще используются в системах поддержки технического обслуживания, где важно избежать генерации некорректной информации (hallucination). Для этого модели привязывают к официальной документации, чтобы они следовали только утверждённым шагам. Hacker News · Оценка и бенчмарки Почему современные бенчмарки LLM теряют актуальность Существующие методы оценки больших языковых моделей все чаще подвергаются критике из-за несоответствия реальным задачам пользователей. Традиционные бенчмарки, основанные на статических наборах вопросов и ответов, перестали быть надежным индикатором качества работы ИИ. Проблема заключается в том, что модели обучаются на огромных массивах данных, которые часто включают в себя сами тестовые задания. Это приводит к «зазубриванию» ответов и завышению показателей, которые не отражают реальную способность системы к рассуждению или решению нестандартных проблем. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. The latest research from Google · Оценка и бенчмарки Как определить достаточное количество экспертов для оценки ИИ Google Research опубликовал исследование, посвящённое вопросу: сколько экспертов нужно для объективной оценки качества ИИ-моделей. В статье рассматриваются методы статистического анализа, которые позволяют определить минимальное количество рейтингов (оценок), необходимых для достижения надёжных результатов. Hacker News · Память и RAG ИИ-модели проходят стандартный тест Тьюринга Исследование, опубликованное в журнале PNAS, показало, что крупные языковые модели успешно проходят стандартный трёхсторонний тест Тьюринга. В эксперименте участвовали 1600 человек, которые общались с ИИ-моделями и людьми, а затем пытались определить, кто из собеседников — человек, а кто — ИИ. Результаты показали, что участники не смогли надёжно различить ИИ и человека, что свидетельствует о высоком уровне человеко-подобности современных языковых моделей. Hacker News · Оценка и бенчмарки Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Инференс и железо Как вычислительные ресурсы влияют на оценку крупных языковых моделей Исследование на arXiv показывает, что современные оценки ИИ переходят на более сложные задачи, требующие длительных траекторий с использованием инструментов и итеративного решения проблем. Это делает результаты всё более чувствительными к объёму и распределению вычислительных ресурсов во время инференса.

← Все материалы