Проект Otlet позволяет выполнять инференс локальных языковых моделей непосредственно внутри базы данных PostgreSQL. Инструмент интегрирует возможности работы с LLM в SQL-запросы, что упрощает создание RAG-систем и автоматизацию обработки данных без необходимости выноса инфраструктуры в отдельные микросервисы. Это решение минимизирует задержки при передаче данных и упрощает архитектуру приложений, работающих с векторным поиском и генерацией контента.
Использование Otlet позволяет разработчикам использовать привычный SQL-синтаксис для вызова моделей, что значительно ускоряет процесс интеграции ИИ в существующие бэкенд-системы. Инструмент ориентирован на работу с локальными весами моделей, обеспечивая приватность данных и полный контроль над вычислительными ресурсами внутри контура базы данных.
Такой подход особенно эффективен для задач, требующих массовой обработки текстовых данных, классификации или извлечения сущностей, где критически важна минимальная задержка между хранилищем и вычислительным узлом. Отсутствие необходимости в сложных API-прослойках упрощает масштабирование агентных систем и пайплайнов обработки данных.
Ключевые факты
- Otlet реализован как расширение, работающее внутри среды PostgreSQL.
- Инструмент поддерживает выполнение инференса локальных моделей без внешних HTTP-вызовов.
- Основной сценарий использования включает RAG-пайплайны и автоматическую обработку данных в БД.
- Проект доступен в формате open-source на платформе GitHub.
- Решение снижает накладные расходы на сериализацию и передачу данных между БД и моделью.