Исследователи представили Imaging-101 — специализированный бенчмарк для оценки способностей LLM-агентов в задачах вычислительной визуализации (computational imaging). Набор включает 57 экспертно верифицированных задач из шести научных дисциплин. Инструмент призван оценить эффективность ИИ при создании сложных алгоритмов реконструкции сигналов, которые критически важны для количественных исследований, но требуют глубоких узкопрофильных знаний и значительных временных затрат.

Вычислительная визуализация подразумевает восстановление скрытых данных из косвенных и зашумленных измерений. Разработка подобных пайплайнов традиционно является трудоемким процессом даже для профильных ученых. Использование ИИ-агентов в этой сфере может значительно ускорить научный поиск, однако текущие модели часто сталкиваются с трудностями при написании корректного кода для специфических физических и математических моделей.

Бенчмарк Imaging-101 предлагает стандартизированный подход к тестированию агентных систем, проверяя их способность не только генерировать синтаксически верный код, но и учитывать физические ограничения и математическую точность, необходимые для обработки научных данных. Это позволяет разработчикам точнее определять слабые места моделей при решении прикладных задач, требующих высокой точности вычислений.

Ключевые факты

  • Бенчмарк содержит 57 уникальных задач, верифицированных экспертами в области вычислительной визуализации.
  • Задачи охватывают шесть различных научных дисциплин, требующих специфических подходов к обработке сигналов.
  • Основная цель проекта — автоматизация создания пайплайнов для восстановления скрытых сигналов из зашумленных измерений.
  • Тестирование сфокусировано на способности LLM-агентов справляться с задачами, требующими глубокой доменной экспертизы.