arXiv · 15.06.2026 ·Датчики и восприятие

FusionRS: новый датасет для визуально-языковых моделей с инфракрасными данными

Исследователи представили FusionRS — крупномасштабный датасет, объединяющий RGB- и инфракрасные изображения для задач дистанционного зондирования Земли. В отличие от существующих решений, которые фокусируются только на RGB-изображениях, FusionRS включает инфракрасные данные, что позволяет использовать дополнительные характеристики, такие как тепловые структуры, границы объектов и освещение-инвариантные признаки.

Датасет содержит более 1,2 миллиона пар изображений, что делает его одним из крупнейших в своей области. Инфракрасные данные особенно полезны для задач, связанных с анализом земной поверхности, мониторингом изменений и обнаружением объектов в условиях ограниченной видимости. Это может быть полезно для разработки ИИ-агентов, которые требуют многомодального восприятия.

FusionRS включает аннотации для задач классификации, сегментации и генерации текста, что делает его универсальным инструментом для обучения визуально-языковых моделей. Исследователи также продемонстрировали, что модели, обученные на этом датасете, показывают значительное улучшение в понимании сложных сцен и обнаружении объектов.

Для разработчиков ИИ-агентов, особенно тех, кто работает над задачами дистанционного зондирования или многомодального восприятия, FusionRS представляет собой важный ресурс. Он может быть использован для улучшения способностей агентов анализировать и интерпретировать данные с различных типов сенсоров, что расширяет их возможности в реальных приложениях.

Источник: arXiv

Похожие материалы

Hacker News · Инфраструктура для ИИ-агентов Openrouter Fusion API для оркестрации моделей Компания Openrouter представила Fusion API — инструмент для интеграции и оркестрации различных моделей ИИ. Это API позволяет разработчикам объединять несколько моделей в единую систему, что особенно важно для создания сложных ИИ-агентов, требующих работы с разными типами данных и задачами. arXiv · Обучение аудио-языковых моделей Новый датасет для улучшения аудио-языковых моделей Исследователи представили AudioDER — новый датасет, предназначенный для улучшения способностей аудио-языковых моделей (LALMs) к сложному аудио-рассуждению. LALMs уже демонстрируют высокие результаты в различных задачах понимания аудио, но их возможности в области сложного анализа и интерпретации звуковых данных остаются ограниченными. arXiv · Потоковое рассуждение для ИИ-агентов AdaSR: адаптивное потоковое рассуждение для динамических сценариев Исследователи из MIT и Google Research представили AdaSR — фреймворк для адаптивного потокового рассуждения, который позволяет ИИ-моделям обрабатывать динамические данные, такие как аудио- и видеопотоки. В отличие от традиционных подходов, где модели анализируют статичный контекст, AdaSR работает с частичными наблюдениями, обновляя свои выводы по мере поступления новой информации. Hacker News · Сравнение моделей ИИ Fusion превзошла Frontier по производительности Команда OpenRouter представила модель Fusion, которая превзошла по производительности модель Frontier от Mistral AI. В тестах Fusion показала лучшие результаты в различных задачах, включая понимание контекста и генерацию текста. Это важно для разработчиков ИИ-агентов, так как новые модели могут значительно улучшить качество взаимодействия с пользователями и выполнение сложных задач. arXiv · Оценка ИИ-агентов MetaSyn: новый датасет для тестирования ИИ-агентов на мета-анализах Исследователи представили новый датасет MetaSyn, предназначенный для оценки способностей ИИ-агентов проводить мета-анализ — сложный процесс синтеза данных, включающий поиск литературы, отбор исследований и статистический анализ. Этот процесс требует системного и проверяемого подхода, что делает его идеальным для тестирования научного мышления агентов. arXiv · ИИ-агенты и пространственное мышление SpatialClaw: новый интерфейс для пространственного мышления ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый подход к решению проблемы пространственного мышления в ИИ-агентах. В работе SpatialClaw они предлагают пересмотреть интерфейс действий, через который агенты взаимодействуют с инструментами для восприятия пространства. Это особенно важно для задач, требующих понимания расположения объектов, их взаимосвязей и движений в 3D-пространстве. arXiv · ИИ-агенты и обработка изображений Использование Segment Anything Model для интерпретации сейсмических данных Исследователи изучили применение Segment Anything Model (SAM) для интерпретации сейсмических данных, что может быть полезно для разработки ИИ-агентов, работающих с визуальной информацией. SAM, разработанный Meta, демонстрирует мощные возможности сегментации изображений на основе подсказок, что делает его перспективным инструментом для анализа сложных данных. NVIDIA Technical Blog · ИИ-агенты и федеративное обучение NVIDIA FLARE Auto-FL ускоряет исследования федеративного обучения с помощью ИИ-агентов NVIDIA представила новую систему Auto-FL в рамках своего фреймворка Federated Learning and Analytics Research (FLARE). Эта система использует ИИ-агентов для автоматизации и ускорения исследований в области федеративного обучения (FL). Федеративное обучение позволяет обучать модели на распределённых данных без их централизации, что особенно важно для задач, связанных с конфиденциальностью и безопасностью данных. arXiv · Атрибуция данных в ИИ-моделях Influcoder: новый метод атрибуции данных для улучшения качества датасетов Исследователи представили метод Influcoder, который позволяет оценивать влияние отдельных данных на обучение языковых моделей. Это важно для создания качественных датасетов, так как позволяет выявлять и удалять вредоносные или нерелевантные данные. Hacker News · Инференс и хранение данных InferenceFS: файловая система для удобного инференса InferenceFS — это файловая система, которая позволяет удобно работать с данными при инференсе моделей. Она предоставляет интерфейс, похожий на обычную файловою систему, но с возможностью кэширования, управления версиями и оптимизации доступа к данным. Это особенно полезно для разработчиков ИИ-агентов, так как позволяет избежать проблем с управлением данными при инференсе.

← Все материалы