Компания Preempt AI представила вторую версию своей платформы, предназначенной для обеспечения безопасности и контроля ИИ-систем в реальном времени. Инструмент позволяет отслеживать поведение агентов, предотвращать несанкционированные действия и минимизировать риски галлюцинаций или утечек данных, интегрируясь непосредственно в процесс обработки запросов к LLM и обеспечивая защитный слой для корпоративных приложений.
Платформа ориентирована на разработчиков, внедряющих агентные системы в бизнес-процессы, где критически важна предсказуемость ответов. Preempt AI v2 фокусируется на фильтрации входящих и исходящих данных, позволяя устанавливать политики безопасности, которые блокируют вредоносные промпты или попытки манипуляции моделью (jailbreak) до того, как они достигнут ядра системы.
Система предоставляет инструменты для аудита и логирования всех взаимодействий, что упрощает соблюдение комплаенса и отладку агентных цепочек. В новой версии улучшены механизмы обнаружения аномалий, что позволяет быстрее реагировать на нестандартное поведение моделей в продакшн-среде, снижая вероятность инцидентов при работе с внешними API и внутренними базами данных.
Ключевые факты
- Платформа обеспечивает защиту от атак типа «инъекция промпта» и попыток обхода ограничений безопасности.
- Реализована система мониторинга в реальном времени для отслеживания всех вызовов к LLM.
- Инструментарий включает функции для настройки политик безопасности, специфичных для конкретных бизнес-задач.
- Поддерживается интеграция с существующими пайплайнами разработки для автоматизированного контроля безопасности на этапе инференса.