Hacker News · 26.06.2026 ·Оценка и бенчмарки

PatentScore: новый метод оценки качества патентных формул от LLM

Исследователи представили PatentScore — специализированный фреймворк для оценки патентных формул, созданных большими языковыми моделями. Система анализирует тексты по нескольким измерениям, включая юридическую точность, полноту описания и соответствие стандартам патентного права. Инструмент позволяет автоматизировать проверку качества генераций, снижая риски при использовании ИИ в юридической практике и интеллектуальной собственности.

Разработка решает проблему нехватки специализированных метрик для оценки сложных юридических документов. Традиционные показатели, такие как BLEU или ROUGE, оказались неэффективны для патентной сферы, так как они не учитывают строгие требования к формулировкам и логической связности притязаний. PatentScore использует многомерный подход, который сопоставляет сгенерированные данные с экспертными оценками и существующими базами патентов.

Методология включает в себя оценку «новизны» и «неочевидности» — ключевых критериев патентоспособности, которые ранее считались труднодоступными для автоматизированного анализа. Использование этого фреймворка помогает разработчикам и юристам точнее настраивать модели для работы с технической документацией, обеспечивая более высокий уровень соответствия нормативным требованиям в автоматизированных процессах подготовки заявок.

Ключевые факты

PatentScore оценивает патентные формулы по нескольким критическим параметрам, включая юридическую точность и полноту.
Фреймворк превосходит стандартные метрики (BLEU, ROUGE) в задачах, требующих понимания специфики патентного права.
Исследование представлено на конференции EMNLP 2025, что подтверждает значимость метода для NLP-сообщества.
Инструмент направлен на минимизацию ошибок при автоматизированной генерации интеллектуальной собственности.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки BINEVAL: новый подход к интерпретируемой оценке LLM через бинарные вопросы Исследователи представили BINEVAL — фреймворк для оценки качества ответов LLM, который заменяет непрозрачные балльные системы на серию атомарных бинарных вопросов. Такой подход позволяет точно локализовать ошибки модели, делая процесс оценки более интерпретируемым и пригодным для автоматизированного самообучения, что решает проблему низкой корреляции традиционных метрик с человеческими суждениями при работе с открытыми генеративными задачами. Hacker News · Оценка и бенчмарки Microsoft представила BenchPress для прогнозирования результатов LLM на бенчмарках Microsoft выпустила инструмент BenchPress, позволяющий предсказывать производительность больших языковых моделей на различных бенчмарках без необходимости их полного тестирования. Система использует мета-обучение для оценки способностей модели на основе ограниченного набора данных, что значительно сокращает вычислительные затраты и время, требуемое для оценки новых архитектур и версий моделей в процессе их разработки. arXiv · Машинное обучение PsyScore: адаптивная система оценки эссе с учетом психометрических данных Исследователи представили фреймворк PsyScore, объединяющий автоматическую проверку эссе с персонализированной обратной связью. В отличие от традиционных моделей, которые разделяют процесс выставления оценки и написание комментариев, новая система использует психометрические подходы для адаптации к уровню подготовки конкретного учащегося. Это позволяет модели не просто выставлять баллы, но и формировать рекомендации, соответствующие зоне ближайшего развития (ZPD) студента. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. Hacker News · Оценка и бенчмарки Использование LLM для оценки качества поисковой выдачи через метрику NDCG Для оценки качества поисковых систем теперь применяют LLM в качестве судей, автоматизирующих расчет метрики NDCG (Normalized Discounted Cumulative Gain). Этот подход позволяет заменить дорогостоящую ручную разметку релевантности документов, используя возможности больших языковых моделей для анализа соответствия результатов поискового запроса намерениям пользователя, что значительно ускоряет итерации при настройке алгоритмов поиска. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. Hacker News · Оценка и бенчмарки Artificial Analysis представила методику оценки ИИ в интеллектуальной работе Аналитическая платформа Artificial Analysis выпустила инструмент Briefcase, предназначенный для оценки эффективности языковых моделей в решении сложных задач интеллектуального труда. В отличие от стандартных тестов, ориентированных на проверку академических знаний или написание кода, новая методика фокусируется на многоэтапных процессах, требующих анализа документов, синтеза информации и принятия решений в условиях неопределенности. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. GitHub · Инфраструктура для агентов DeepSpec: фреймворк от DeepSeek для оптимизации инференса через спекулятивное декодирование Компания DeepSeek представила DeepSpec — комплексную инфраструктуру для разработки, обучения и оценки алгоритмов спекулятивного декодирования. Инструментарий позволяет ускорить генерацию текста LLM за счет использования малых моделей-черновиков, которые предсказывают токены, а затем верифицируются основной моделью. Решение предоставляет полный стек для оптимизации инференса и повышения пропускной способности систем в реальном времени. arXiv · Исследования и наука Метод SIFT повышает точность фактчекинга в LLM через проверку обоснованности доказательств Исследователи представили метод SIFT (Claim-Conditioned Re-scoring), решающий проблему «разрыва обоснований» (Warrant Gap) в ИИ-системах проверки фактов. Хотя современные LLM показывают высокую точность на бенчмарках, они часто подтверждают утверждения, используя нерелевантные доказательства. Новый подход переоценивает извлеченные данные с учетом контекста исходного утверждения, что позволяет выявлять логические несоответствия между фактом и цитируемым источником.

← Все материалы