NVIDIA представила подход к созданию автономных ИИ-агентов, способных выполнять сложные исследовательские задачи в машинном обучении. Система использует возможности обучения с подкреплением (RL) и инструментарий NeMo для управления полным циклом работы: от анализа репозиториев и настройки среды выполнения до самостоятельного поиска решений и исправления ошибок в коде в ходе длительных итераций.
Использование RL-агентов позволяет автоматизировать рутинные этапы разработки, такие как отладка пайплайнов и оптимизация гиперпараметров. Агент выступает в роли оператора, который взаимодействует с файловой системой и средой исполнения, принимая решения на основе обратной связи от компилятора или логов выполнения. Это значительно сокращает время, затрачиваемое инженерами на поддержку инфраструктуры при проведении масштабных экспериментов.
Интеграция с библиотеками NVIDIA NeMo обеспечивает масштабируемость и эффективную работу с большими языковыми моделями, которые служат «мозгом» агента. Такой подход превращает статические скрипты в динамические рабочие процессы, способные адаптироваться к изменяющимся условиям эксперимента и самостоятельно восстанавливаться после сбоев, что критически важно для сложных исследовательских задач.
Ключевые факты
- Агенты способны самостоятельно инспектировать кодовые базы и настраивать необходимые runtime-окружения для запуска ML-задач.
- Использование обучения с подкреплением (RL) позволяет агенту обучаться на результатах предыдущих попыток выполнения кода.
- Инструментарий NVIDIA NeMo используется для оркестрации и управления жизненным циклом агентов в исследовательских задачах.
- Система ориентирована на автоматизацию многоэтапных процессов, требующих длительного времени выполнения и постоянного мониторинга ошибок.