arXiv · 30.07.2026 ·Машинное обучение

Оптимизация сегментации объектов для носимых роботов на базе RGB-D данных

Исследователи представили новый метод сегментации объектов (affordance segmentation), адаптированный для работы на встраиваемых устройствах с использованием RGB-D камер. Авторы разработали специализированный алгоритм поиска архитектуры нейронных сетей (NAS), который эффективно интегрирует данные о глубине в компактные модели, обеспечивая баланс между точностью распознавания и вычислительными затратами на ограниченном «железе» носимых роботов.

Основная проблема существующих решений заключается в избыточности вычислений при обработке данных с датчиков глубины. Предложенный подход позволяет находить оптимальные конфигурации нейросетей, которые эффективно используют RGB-D информацию без критической нагрузки на процессор. Это достигается за счет пересмотра пространства поиска архитектур и внедрения специфических методов дообучения, ориентированных на специфику встраиваемых систем.

Технология позволяет роботам лучше распознавать функциональные свойства окружающих предметов, что критически важно для взаимодействия с физическим миром в реальном времени. Использование RGB-D данных значительно повышает точность сегментации в условиях сложного освещения или неоднородных текстур, где обычные RGB-камеры часто показывают низкие результаты.

Ключевые факты

Разработан метод аппаратного поиска архитектур (Hardware-aware NAS), оптимизированный под интеграцию данных глубины (D) в малые нейросети.
Предложенный подход сфокусирован на достижении Парето-оптимальности, балансируя между качеством сегментации и требованиями к ресурсам встраиваемых систем.
Решение протестировано на задачах сегментации функциональных зон (affordance), что необходимо для автономной манипуляции объектами носимыми роботами.
Методология включает специализированный процесс дообучения, позволяющий эффективно использовать мультимодальные данные на устройствах с низким энергопотреблением.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация RGB-T детектирования объектов через разреженную кросс-модальную фузию Исследователи представили метод эффективного обнаружения объектов, объединяющий данные видимого спектра и тепловизионных камер. В отличие от стандартных подходов, требующих тяжелых архитектур и обработки всего изображения, новый алгоритм использует разреженную кросс-модальную фузию. Это позволяет сосредоточить вычислительные ресурсы на информативных областях, игнорируя однородные фоновые зоны, что значительно снижает нагрузку на систему без потери точности. arXiv · Машинное обучение Адаптивные границы безопасности для визуальной навигации роботов Исследователи представили метод адаптивной настройки границ безопасности для автономных роботов, работающих в сложных закрытых пространствах. Вместо использования фиксированных параметров, которые часто приводят к ошибкам из-за неточностей восприятия, система динамически корректирует дистанцию до препятствий. Это позволяет роботам избегать лишних объездов и минимизировать риск столкновений при движении в условиях неопределенности. arXiv · Машинное обучение Новый метод семантической сегментации для радарных данных Исследователи представили метод обучения структурно-согласованных представлений для многоракурсной семантической сегментации радарных данных. Решение позволяет преодолеть проблему разреженности и высокого уровня шума в показаниях радаров, которые традиционно затрудняют точное распознавание объектов. Подход фокусируется на извлечении высокоуровневых реляционных структур из множественных радарных отражений, что значительно повышает качество плотной семантической сегментации в сложных погодных условиях. arXiv · Машинное обучение Новый метод поиска архитектур нейросетей на потребительском железе Исследователи представили фреймворк для автоматизированного поиска архитектур нейросетей (NAS), который значительно снижает требования к вычислительным ресурсам. Метод объединяет авторегрессионные трансформеры с алгоритмами роевого интеллекта, позволяя проектировать эффективные модели на обычном потребительском оборудовании. Это решение делает процесс разработки архитектур доступным для широкого круга специалистов, исключая необходимость в тысячах GPU-дней для обучения. arXiv · Исследования и наука TACTFUL: новый фреймворк для тактильного распознавания объектов роботами Исследователи представили TACTFUL — фреймворк, позволяющий многопальцевым роботам идентифицировать и локализовать предметы в ограниченном пространстве исключительно с помощью осязания. В отличие от традиционных систем, опирающихся на компьютерное зрение, этот метод имитирует человеческую способность распознавать объекты на ощупь, что критически важно для работы в условиях плохой видимости или полной темноты, где визуальные сенсоры оказываются неэффективными. arXiv · Машинное обучение Повышение стабильности сегментации изображений в контексте через Concept Guidance Исследователи представили метод Concept Guidance для улучшения сегментации изображений в контексте (ICS). Подход позволяет моделям стабильно выделять целевые области на основе нескольких примеров без дообучения параметров. Новая архитектура минимизирует чувствительность нейросетей к вариациям входных данных, обеспечивая высокую точность сегментации даже при изменении условий запроса, что критически важно для надежности компьютерного зрения. arXiv · Машинное обучение Оптимизация синтетических данных для обучения компьютерного зрения Исследователи представили метод SmartSDG, направленный на устранение разрыва между синтетическими данными и реальными условиями в задачах компьютерного зрения. Использование сгенерированных изображений позволяет обходить проблему ручной разметки, однако качество моделей часто страдает из-за различий в освещении и сложности фона. Новый подход систематизирует влияние физически корректного непрямого освещения на точность распознавания объектов. arXiv · Машинное обучение Метод Condition Dropout для устойчивой семантической сегментации RGB-D Исследователи представили метод Condition Dropout для повышения надежности моделей семантической сегментации RGB-D в условиях неполных данных. Новый подход позволяет нейросетям эффективно работать при потере одного из каналов — RGB или глубины — за счет динамического обучения на неполных модальностях, что критически важно для систем компьютерного зрения, подверженных сбоям сенсоров или окклюзиям. Hacker News · Машинное обучение Автоматизация проектирования нейросетей для граничных вычислений Разработчики представили подход к автоматизированному поиску архитектур нейронных сетей (NAS), оптимизированный для работы на устройствах с ограниченными вычислительными ресурсами. Технология позволяет автоматически подбирать структуру модели так, чтобы она сохраняла высокую точность при минимальных требованиях к оперативной памяти и энергопотреблению. Это решает проблему переноса тяжелых моделей на оборудование уровня Edge AI, где использование стандартных архитектур часто невозможно из-за жестких ограничений по железу. arXiv · Исследования и наука Новый метод пространственной нормализации для сегментации слоев сетчатки на снимках ОКТ Исследователи представили метод пространственной нормализации для сегментации слоев сетчатки на снимках оптической когерентной томографии (ОКТ). Подход решает проблему вариативности данных и низкого контраста, возникающих при работе с изображениями от разных производителей оборудования. Технология повышает точность извлечения биомаркеров, что критически важно для ранней диагностики нейродегенеративных заболеваний и мониторинга состояния пациентов в клинической практике.

← Все материалы