Исследование IDP Software выявило «стену 76%» при автоматизации обработки сложных корпоративных документов с помощью передовых LLM. Несмотря на прогресс моделей, без участия экспертов-людей точность извлечения данных из неструктурированных файлов, таких как юридические контракты или технические спецификации, редко превышает этот порог, что делает полную автоматизацию бизнес-процессов труднодостижимой задачей.
Основная проблема заключается в сложности контекста и необходимости глубокого понимания специфической предметной области, с которой стандартные модели справляются недостаточно эффективно. Даже при использовании продвинутых методов RAG (Retrieval-Augmented Generation) системам не хватает способности интерпретировать неявные связи и сложные визуальные структуры документов, которые критически важны для принятия бизнес-решений.
Для преодоления этого барьера компаниям приходится внедрять гибридные подходы, где ИИ выполняет первичную обработку, а эксперты проверяют и корректируют результаты. Такой подход требует интеграции человеческого участия непосредственно в пайплайны обработки данных, что замедляет процессы, но обеспечивает необходимый уровень точности и надежности, недоступный при использовании «чистого» ИИ.
Ключевые факты
- «Стена 76%» — это средний предел точности извлечения данных из сложных документов, который современные LLM не могут преодолеть без участия человека.
- Основные трудности связаны с обработкой неструктурированных данных, специфической терминологией и сложной версткой документов.
- Использование RAG и других методов оптимизации не гарантирует устранение ошибок в интерпретации контекста при работе с узкоспециализированными файлами.
- Гибридная модель «Human-in-the-loop» остается единственным надежным способом достижения высокой точности в корпоративном документообороте.