Исследователи представили новый подход к оценке и повышению эффективности языковых моделей при работе с нормативно-технической документацией. В ходе работы был создан специализированный бенчмарк на основе национальных стандартов (GB/T), требующий от моделей строгого соблюдения правил терминологии, структуры и перекрестных ссылок. Результаты показывают, что стандартные методы дообучения позволяют значительно повысить точность соблюдения формальных требований в сложных юридических и технических текстах.
Работа фокусируется на проблеме «правилоемких» документов, где малейшее отклонение от предписанной структуры или формулировок делает документ невалидным. Авторы проанализировали способность моделей выявлять несоответствия в длинных текстах, где правила разнесены по разным разделам. Исследование демонстрирует, что специализированная настройка моделей на работу с иерархическими структурами и нормативными базами данных позволяет снизить количество ошибок при автоматизированном аудите документации.
Предложенный метод включает не только оценку текущих возможностей моделей, но и алгоритмы улучшения их логического вывода при проверке соответствия. Это открывает возможности для автоматизации комплаенса и контроля качества в отраслях, где критически важна точность формулировок, таких как строительство, производство и государственное управление.
Ключевые факты
- Разработан бенчмарк для проверки LLM на соответствие национальным стандартам (GB/T), включающий анализ терминологии и нормативной лексики.
- Выявлено, что стандартные LLM часто допускают ошибки в перекрестных ссылках и формальных требованиях при работе с длинными документами.
- Предложен метод дообучения, который повышает точность соблюдения правил структуры и нормативного языка в профессиональных текстах.
- Исследование подтверждает возможность автоматизации аудита сложных документов с использованием специализированных агентных пайплайнов.