Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями.

Проблема заключается в том, что существующие методы часто не могут надёжно обнаруживать выходы за пределы распределения (OOD), что может привести к опасным ситуациям. Авторы показывают, что традиционные методы, которые просто добавляют дополнительные проверки после обучения модели, могут быть неэффективными.

Новый подход, названный Sensitivity Shaping, предлагает интегрировать механизмы обнаружения аномалий непосредственно в процесс обучения модели. Это позволяет модели быть более чувствительной к критическим изменениям в состоянии системы, что повышает её надёжность.

Для разработчиков ИИ-агентов, особенно в области робототехники, этот подход может стать важным инструментом для повышения безопасности и надёжности систем. Исследование демонстрирует, что интеграция механизмов обнаружения аномалий на этапе обучения может значительно улучшить производительность агентов в реальных условиях.