arXiv · 29.06.2026 ·Оценка и бенчмарки

Poller: использование LLM для оценки понимания поэзии

Исследователи представили Poller — специализированный метод оценки качества понимания китайской поэзии с помощью больших языковых моделей. Традиционные метрики не справляются со спецификой жанра, а ручная проверка слишком затратна для масштабных задач. Новый подход позволяет автоматизировать анализ поэтических текстов, обеспечивая точность, сопоставимую с экспертной оценкой, при значительно меньших временных и финансовых ресурсах.

Поэзия обладает сложной структурой, метафоричностью и культурным контекстом, которые часто упускаются стандартными алгоритмами оценки. Метод Poller использует возможности LLM для анализа семантических нюансов и художественных особенностей, что делает его эффективным инструментом для обучения и тестирования моделей в области гуманитарных наук и креативных индустрий.

Разработка решает проблему масштабируемости в задачах, где требуется глубокое понимание контекста и эстетической ценности контента. Использование специализированных оценщиков на базе LLM открывает новые возможности для автоматизированного анализа литературных произведений и улучшения качества генеративных моделей, работающих с творческими текстами.

Ключевые факты

Poller (Poetry LLM Evaluator) разработан для преодоления ограничений традиционных метрик при анализе китайской поэзии.
Метод позволяет заменить дорогостоящую ручную оценку на автоматизированный процесс с высокой точностью.
Исследование подтверждает, что LLM способны улавливать специфические литературные и стилистические особенности, недоступные классическим алгоритмам.
Предложенный подход применим для крупномасштабных датасетов, что критически важно для обучения специализированных моделей.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Гибридный фреймворк для анализа эмоций в текстах песен с использованием LLM Исследователи представили новый подход к аннотированию текстов песен, объединяющий человеческую экспертизу и возможности больших языковых моделей. Авторы создали специализированный датасет с разметкой на уровне предложений, чтобы решить проблему расхождения между эмоциональным содержанием текста и общим настроением музыкальной композиции, что ранее оставалось «слепой зоной» в задачах автоматического анализа контента. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Исследования и наука Использование LLM для прогнозирования сложности заданий через когнитивные эпизоды Исследователи представили метод оценки сложности учебных заданий для человека, основанный на анализе цепочек рассуждений больших языковых моделей. Вместо традиционной калибровки по результатам тестирования, подход фокусируется на «когнитивных эпизодах» — ключевых этапах логического вывода модели. Это позволяет не только точнее предсказывать уровень сложности, но и интерпретировать, какие именно мыслительные процессы вызывают затруднения у учащихся. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. Hacker News · Оценка и бенчмарки Новые методы повышения точности LLM как судей в оценке моделей Исследователи представили усовершенствованные подходы к использованию LLM в качестве «судей» для автоматизированной оценки качества ответов других моделей. Авторы статьи систематизировали методы минимизации предвзятости и повышения корреляции оценок ИИ с человеческими предпочтениями, предложив новые стратегии промптинга и калибровки, которые позволяют значительно точнее определять качество генерации в сложных задачах без привлечения экспертов-людей. arXiv · Исследования и наука Улучшение точности прогнозирования LLM через управление признаками Исследователи представили метод повышения качества прогнозирования в больших языковых моделях, основанный на анализе их внутренних состояний. Используя разреженные автокодировщики, авторы выявили, что модели часто опираются на специфические временные знания, а не на общие закономерности. Управление этими внутренними признаками позволяет сместить фокус модели на обобщаемые паттерны, что значительно повышает точность предсказаний в различных задачах. arXiv · Исследования и наука Исследование методов отслеживания влияния обучающих данных на ответы LLM Исследователи проанализировали два ключевых подхода к интерпретации поведения больших языковых моделей: оценку сходства данных (data-similarity) и оценку влияния данных (data-influence). Первый метод основан на поиске семантической близости между запросом и обучающей выборкой, что требует значительно меньше вычислительных ресурсов. Второй метод направлен на определение того, как конкретные примеры из обучающего набора напрямую меняют веса модели и влияют на итоговый результат, что считается более точным, но трудоемким процессом. arXiv · Оценка и бенчмарки BINEVAL: новый подход к интерпретируемой оценке LLM через бинарные вопросы Исследователи представили BINEVAL — фреймворк для оценки качества ответов LLM, который заменяет непрозрачные балльные системы на серию атомарных бинарных вопросов. Такой подход позволяет точно локализовать ошибки модели, делая процесс оценки более интерпретируемым и пригодным для автоматизированного самообучения, что решает проблему низкой корреляции традиционных метрик с человеческими суждениями при работе с открытыми генеративными задачами. Hacker News · Оценка и бенчмарки Использование LLM для оценки качества поисковой выдачи через метрику NDCG Для оценки качества поисковых систем теперь применяют LLM в качестве судей, автоматизирующих расчет метрики NDCG (Normalized Discounted Cumulative Gain). Этот подход позволяет заменить дорогостоящую ручную разметку релевантности документов, используя возможности больших языковых моделей для анализа соответствия результатов поискового запроса намерениям пользователя, что значительно ускоряет итерации при настройке алгоритмов поиска. arXiv · Оценка и бенчмарки Новый подход к оценке качества ответов LLM в задачах с открытым финалом Исследователи представили RECOM (Reddit Evaluation for Correspondence of Models) — новый метод оценки качества генеративных моделей, предназначенный для задач, где ответы носят субъективный или дискуссионный характер. Авторы работы указывают на фундаментальное противоречие в существующих автоматических метриках, которые одновременно пытаются оценить содержательную точность (валидность) и способность системы ранжировать модели по уровню их эффективности (дискриминационная способность).

← Все материалы