Команда Nilenso представила подход к созданию OCR-системы на базе LLM для процессов KYC, где приоритет отдается созданию надежного фреймворка оценки (evals) до начала написания промптов. Такой подход позволяет количественно измерять точность извлечения данных из документов, минимизировать галлюцинации и обоснованно выбирать архитектурные решения для критически важных финансовых операций.
Разработка началась с формирования «золотого набора» данных, включающего реальные сканы документов и эталонные ответы. Это позволило инженерам объективно сравнивать различные модели и стратегии промпт-инжиниринга. Вместо интуитивной настройки инструкций, команда использовала автоматизированные тесты для фиксации ошибок в извлечении полей, что критически важно для соблюдения регуляторных требований в банковском секторе.
В процессе работы выяснилось, что даже незначительные изменения в системных промптах могут приводить к непредсказуемым результатам на разных типах документов. Внедрение системы оценки позволило отсеивать неэффективные методы на ранних этапах, сокращая время на итерации и повышая общую надежность пайплайна обработки данных. Использование структурированного вывода (JSON) в сочетании с жесткой валидацией на стороне кода обеспечило стабильность интеграции с внутренними системами компании.
Ключевые факты
- Разработан пайплайн оценки, который позволяет тестировать изменения в промптах на репрезентативной выборке документов перед их внедрением в продакшн.
- Использование «золотого набора» данных стало фундаментом для измерения точности извлечения полей, что исключило субъективную оценку качества работы модели.
- Применение структурированного вывода данных позволило автоматизировать проверку результатов и снизить количество ошибок при парсинге документов.
- Методология сфокусирована на минимизации рисков в процессах KYC, где точность извлечения персональных данных является критическим требованием.