Aitori — это open-source инструмент для перехвата и анализа сетевого трафика между клиентскими приложениями и API-сервисами OpenAI и Anthropic. Решение позволяет разработчикам в реальном времени отслеживать промпты, параметры запросов и ответы моделей, упрощая отладку агентных систем и сложных цепочек вызовов, которые полагаются на проприетарные LLM.
Инструмент работает как прокси-сервер, который встает между приложением и API-провайдером. Это дает возможность прозрачно видеть структуру данных, передаваемых в процессе работы агентов, включая системные инструкции, историю сообщений и метаданные. Такой подход критически важен при разработке сложных агентных сценариев, где необходимо понимать, почему модель приняла то или иное решение на основе полученного контекста.
Использование Aitori позволяет выявлять ошибки в формировании промптов и анализировать задержки в ответах моделей без необходимости внедрения сложного логирования внутри кода приложения. Инструмент ориентирован на разработчиков, которые интегрируют Claude или ChatGPT в свои продукты и нуждаются в глубокой видимости того, как именно происходит взаимодействие с внешними моделями на уровне сетевого протокола.
Ключевые факты
- Инструмент распространяется с открытым исходным кодом под лицензией MIT.
- Поддерживает перехват запросов к API OpenAI (ChatGPT) и Anthropic (Claude).
- Позволяет просматривать содержимое промптов, конфигурацию параметров и полные ответы моделей в реальном времени.
- Реализован в виде прокси-сервера, не требующего изменения логики основного приложения.
- Разработан командой TrueFoundry для упрощения отладки LLM-интеграций.