Исследователи MIT представили JARVIS Challenge — комплексный бенчмарк для оценки способностей ИИ-агентов в решении сложных инженерных задач, таких как проектирование компонентов реактивных двигателей. В отличие от стандартных тестов на написание кода, этот проект проверяет умение моделей работать с профессиональным инженерным ПО, анализировать техническую документацию и выполнять итеративные расчеты в условиях реальных промышленных ограничений.
Основная сложность заключается в том, что инженерное проектирование требует не только генерации текста, но и взаимодействия с CAD-системами, симуляторами и базами данных. Агенты должны демонстрировать навыки планирования, поиска ошибок и корректировки параметров на основе физических законов, что значительно сложнее типичных задач по программированию или написанию текстов.
Этот бенчмарк призван выявить реальный потенциал ИИ как «второго пилота» для инженеров-конструкторов. Успешное прохождение тестов требует от моделей глубокого понимания предметной области и способности к многошаговому рассуждению, что делает JARVIS важным инструментом для оценки готовности современных систем к автоматизации высокотехнологичных производственных процессов.
Ключевые факты
- JARVIS Challenge разработан специалистами MIT для оценки ИИ-агентов в инженерных дисциплинах.
- Тестовые задания включают проектирование деталей реактивных двигателей и работу со специализированным инженерным софтом.
- Бенчмарк оценивает способность агентов к итеративному проектированию, анализу физических параметров и исправлению ошибок в расчетах.
- Проект нацелен на переход от простых чат-ботов к полноценным автономным помощникам в промышленном дизайне и инженерии.