Selvedge — это новый инструмент для отслеживания истории решений ИИ-агентов, который фиксирует все отклоненные моделью действия в формате append-only лога. Решение позволяет разработчикам анализировать причины отказов, выявлять паттерны ошибочного поведения и улучшать процесс принятия решений агентом, обеспечивая прозрачность в работе сложных автономных систем и цепочек рассуждений.
В процессе разработки агентных систем часто возникает проблема «черного ящика», когда модель отказывается выполнять задачу, но причины этого остаются скрытыми. Selvedge предлагает структурированный подход к сбору данных о том, какие именно действия были отвергнуты агентом на этапе планирования или исполнения. Это помогает отлаживать промпты и логику оркестрации, опираясь на реальные примеры того, что агент счел нецелесообразным или невыполнимым.
Инструмент ориентирован на интеграцию в существующие пайплайны разработки агентов. Использование логов позволяет проводить ретроспективный анализ и корректировать поведение модели без необходимости постоянного ручного мониторинга в реальном времени. Такой подход упрощает итеративное улучшение агентных систем, делая их более предсказуемыми и надежными в долгосрочной перспективе.
Ключевые факты
- Selvedge реализован как append-only лог для записи отклоненных действий ИИ-агентов.
- Инструмент помогает выявлять скрытые причины отказов в цепочках рассуждений модели.
- Решение упрощает отладку агентных систем и оптимизацию промптов на основе накопленных данных.
- Проект доступен в виде открытого исходного кода на платформе GitHub.