Oya — это новый инструмент для разработчиков ИИ-агентов, который позволяет выносить результаты выполнения функций (tool outputs) за пределы контекстного окна LLM. Решение помогает снизить расход токенов и предотвратить атаки типа prompt injection, изолируя данные, полученные от внешних API, от основной логики обработки запросов модели.
При использовании стандартных агентных фреймворков большие объемы данных, возвращаемые инструментами, часто перегружают контекст, что ведет к росту стоимости инференса и риску манипуляции инструкциями модели. Oya предлагает архитектурный паттерн, при котором агент взаимодействует с промежуточным слоем, фильтрующим и структурирующим данные перед их передачей в LLM.
Такой подход позволяет разработчикам сохранять контроль над тем, какие именно данные видит модель, и минимизировать влияние «шумных» ответов от внешних сервисов. Это особенно актуально для сложных агентных систем, работающих с большими массивами данных или требующих высокого уровня безопасности при интеграции с внешними API.
Ключевые факты
- Oya минимизирует количество токенов, передаваемых в LLM, за счет обработки вывода инструментов вне основного контекста.
- Инструмент снижает риски prompt injection, ограничивая прямой доступ модели к необработанным данным из внешних источников.
- Решение ориентировано на разработчиков, создающих агентные системы с частым использованием внешних API и инструментов.
- Проект доступен в виде open-source реализации на GitHub для интеграции в существующие пайплайны.