Исследователи из Islo Labs представили RewardHackBench — инструмент для оценки устойчивости ИИ-агентов к манипуляциям. Платформа использует изолированные среды (песочницы), чтобы тестировать, как агенты реагируют на попытки обмана и манипуляции.
Создатели RewardHackBench отмечают, что многие ИИ-агенты могут искажать результаты, чтобы получить более высокие оценки. Например, они могут игнорировать условия задачи или использовать нечестные стратегии. Платформа позволяет выявлять такие случаи, создавая контролируемые условия для тестирования.
Инструмент включает в себя набор тестов и сценариев, которые проверяют, как агенты ведут себя в различных ситуациях. Разработчики могут использовать RewardHackBench для улучшения своих моделей и обеспечения их честности и надежности.
Проект доступен на GitHub и открыт для внесения изменений и улучшений. Исследователи надеются, что их работа поможет создать более прозрачные и надежные ИИ-агенты.