Hacker News · 27.07.2026 ·Инфраструктура для агентов

Aitori: инструмент для мониторинга и контроля ИИ-трафика

Aitori — это open-source решение для отслеживания и управления исходящим трафиком от ИИ-приложений и агентов. Инструмент позволяет разработчикам в реальном времени видеть, какие запросы отправляются к LLM, контролировать использование токенов и ограничивать доступ к внешним API, обеспечивая прозрачность и безопасность при работе с агентными системами и LLM-интеграциями.

Система функционирует как прокси-слой, который перехватывает вызовы к моделям. Это дает возможность централизованно управлять политиками безопасности, предотвращая утечку конфиденциальных данных в сторонние сервисы. Разработчики могут настраивать правила фильтрации, которые блокируют нежелательные запросы или ограничивают объем передаваемой информации на уровне инфраструктуры.

Помимо контроля трафика, решение предоставляет аналитику по расходам и производительности. Это помогает командам оптимизировать затраты на API и отслеживать аномалии в поведении агентов, которые могут указывать на ошибки в логике или попытки несанкционированного доступа к внешним ресурсам.

Ключевые факты

Инструмент разработан компанией TrueFoundry для обеспечения прозрачности ИИ-инфраструктуры.
Поддерживает перехват и анализ запросов к популярным LLM-провайдерам.
Позволяет внедрять политики контроля доступа и лимиты на использование токенов.
Реализован как прокси-сервер для интеграции в существующие пайплайны без изменения кода моделей.
Проект доступен в открытом доступе на GitHub под лицензией Apache 2.0.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Aitori: инструмент для отладки и анализа трафика Claude и ChatGPT Aitori — это open-source инструмент для перехвата и анализа сетевого трафика между клиентскими приложениями и API-сервисами OpenAI и Anthropic. Решение позволяет разработчикам в реальном времени отслеживать промпты, параметры запросов и ответы моделей, упрощая отладку агентных систем и сложных цепочек вызовов, которые полагаются на проприетарные LLM. Hacker News · Инфраструктура для агентов AI Firewall: прокси-шлюз для защиты и контроля LLM-трафика Проект AI Firewall представляет собой специализированный обратный прокси-сервер, разработанный для фильтрации и мониторинга запросов к языковым моделям. Инструмент позволяет компаниям внедрять политики безопасности, предотвращать утечки конфиденциальных данных (DLP) и ограничивать злоупотребления API, выступая посредником между клиентскими приложениями и LLM-провайдерами. Это решение помогает стандартизировать управление доступом и логирование взаимодействий с ИИ в корпоративной среде. Hacker News · Инфраструктура для агентов Atuin AI Proxy: прокси-сервер для управления API-запросами к LLM Atuin AI Proxy — это специализированный прокси-сервер, предназначенный для централизованного управления API-запросами к различным языковым моделям. Инструмент позволяет агрегировать обращения к разным провайдерам, обеспечивая единую точку доступа, контроль над расходами и мониторинг трафика. Решение ориентировано на разработчиков, которым необходимо стандартизировать взаимодействие с LLM в рамках агентных систем и сложных приложений. Hacker News · Инфраструктура для агентов PrivAiTe: прокси-сервис для автоматической фильтрации PII в запросах к LLM PrivAiTe — это self-hosted прокси-решение, предназначенное для защиты конфиденциальных данных при работе с большими языковыми моделями. Инструмент автоматически обнаруживает и маскирует персональную информацию (PII) в промптах и результатах вызова инструментов (tool calls) до того, как данные отправляются на обработку внешним API, обеспечивая безопасность корпоративных коммуникаций и соблюдение требований приватности. Hacker News · Инфраструктура для агентов Инструменты наблюдаемости для ИИ-агентов и LLM-приложений Платформа Telemetry.dev предлагает специализированный инструментарий для мониторинга и отладки ИИ-агентов, а также приложений на базе больших языковых моделей. Решение позволяет разработчикам визуализировать цепочки вызовов, анализировать задержки и отслеживать потребление токенов в реальном времени, что критически важно для оптимизации производительности и стоимости эксплуатации сложных агентных систем в продакшене. Hacker News · Инфраструктура для агентов Aireceipts: инструмент для детализированного учета затрат ИИ-агентов Aireceipts — это open-source решение для отслеживания и детализации расходов на API при работе ИИ-агентов. Инструмент позволяет автоматически собирать и структурировать данные о затратах на уровне отдельных задач, помогая разработчикам контролировать бюджеты и анализировать эффективность использования токенов в сложных агентных цепочках и автоматизированных процессах разработки. Hacker News · Инфраструктура для агентов Trajeckt: инструмент для мониторинга и фильтрации запросов ИИ-агентов Trajeckt — это специализированный межсетевой экран, разработанный для контроля и аудита взаимодействия ИИ-агентов с внешними API и внутренними системами. Инструмент позволяет отслеживать исходящие вызовы в реальном времени, блокировать нежелательные действия и вести детальный лог всех операций, что критически важно для обеспечения безопасности и прозрачности работы автономных агентных систем в корпоративной среде. Hacker News · Инфраструктура для агентов Rekon: инструмент для профилирования и отладки потребления токенов в LLM-приложениях Разработчики представили Rekon — open-source инструмент для профилирования LLM-запросов, позволяющий детально отслеживать расход токенов и структуру вызовов в агентных системах. Решение помогает выявлять неэффективные цепочки промптов и скрытые затраты на инференс, предоставляя визуализацию того, как именно модель расходует контекстное окно и на каких этапах обработки данных возникают избыточные траты. Hacker News · Инфраструктура для агентов TEIA: детерминированный роутер для LLM с криптографическим аудитом Проект TEIA представляет собой систему маршрутизации запросов к LLM, обеспечивающую детерминированное поведение и криптографическую проверяемость каждого шага обработки. Инструмент позволяет компаниям строго контролировать, какая модель получает запрос, и фиксировать историю всех взаимодействий в неизменяемом журнале, что критически важно для соблюдения комплаенса и аудита в корпоративных агентных системах. Hacker News · Инфраструктура для агентов Token Governor: оптимизация затрат на LLM через фильтрацию запросов Token Governor — это инструмент для управления расходами на использование LLM, который предотвращает отправку избыточных или нецелевых запросов к API. Система анализирует входящие промпты до их передачи модели, позволяя отсеивать нерелевантные или слишком простые задачи, что помогает существенно снизить затраты на инференс в агентных системах и сложных пайплайнах.

← Все материалы