Исследователи представили архитектуру RAG-системы, разработанную для нужд государственного агентства Румынии. Решение позволяет эффективно обрабатывать внутреннюю документацию на обычном ноутбуке с 8 ГБ оперативной памяти. Проект доказывает возможность внедрения приватных ИИ-инструментов в организациях с ограниченными вычислительными ресурсами, обеспечивая при этом высокую точность ответов и полную конфиденциальность данных без использования облачных API.
Основная проблема, которую решали авторы, заключалась в необходимости работы с конфиденциальными данными в закрытом контуре. Использование локальных моделей и оптимизированных векторных баз данных позволило создать систему, которая не требует мощных графических ускорителей или серверных кластеров. Это открывает путь к автоматизации документооборота в бюджетных учреждениях, где покупка дорогостоящего оборудования невозможна.
Внедрение системы позволило сократить время поиска информации по архивам ведомства в несколько раз. Разработчики сфокусировались на минимизации потребления памяти при сохранении качества семантического поиска, что делает решение масштабируемым для других государственных структур с аналогичными техническими ограничениями.
Ключевые факты
- Система развернута на стандартном ноутбуке с 8 ГБ ОЗУ без использования внешних GPU.
- Реализован RAG-пайплайн для работы с закрытыми государственными документами в офлайн-режиме.
- Достигнута высокая точность ответов при минимальных требованиях к аппаратному обеспечению.
- Решение ориентировано на обеспечение информационной безопасности и суверенитета данных в госсекторе.