GitHub · 06.07.2026 ·Машинное обучение

Lingbot-vision: новый подход к пространственному восприятию через самообучение

Проект Lingbot-vision представляет собой реализацию методов самообучения (self-supervised learning) для задач пространственного восприятия. Исследование фокусируется на том, как модели могут эффективно извлекать геометрические и пространственные признаки из визуальных данных без необходимости в размеченных наборах данных, что является критически важным этапом для развития автономных систем и робототехники.

В основе подхода лежит использование неразмеченных визуальных потоков для обучения нейросетевых архитектур пониманию структуры окружающего пространства. Вместо классического обучения с учителем, где требуются тысячи аннотированных кадров, система самостоятельно находит закономерности в движении объектов и изменении перспективы. Это позволяет значительно снизить затраты на подготовку данных и повысить адаптивность моделей к новым условиям среды.

Технология ориентирована на решение фундаментальной проблемы компьютерного зрения — способности ИИ адекватно интерпретировать 3D-пространство на основе 2D-изображений. Подобные методы находят применение в задачах навигации, построения карт и взаимодействия агентов с физическими объектами, где точность оценки расстояний и объемов определяет качество работы всей системы.

Ключевые факты

Метод основан на парадигме самообучения (self-supervised learning), исключающей потребность в ручной разметке данных.
Основная задача архитектуры — извлечение пространственных признаков для улучшения восприятия глубины и геометрии сцены.
Репозиторий содержит реализацию алгоритмов для обработки визуальных данных, направленных на повышение автономности робототехнических систем.
Подход позволяет масштабировать обучение на больших неструктурированных видеопотоках, что ускоряет процесс дообучения моделей под конкретные задачи.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

MarkTechPost · Машинное обучение Ant Group представила LingBot-Vision: компактную модель для пространственного восприятия Ant Group открыла исходный код LingBot-Vision — семейства моделей компьютерного зрения с 1 миллиардом параметров, ориентированных на плотное пространственное восприятие. Инновационный метод обучения с использованием маскированного моделирования границ (Masked Boundary Modeling) позволяет модели эффективно распознавать контуры объектов, достигая производительности, сопоставимой с гораздо более крупными архитектурами, и выступая фундаментом для специализированных систем оценки глубины. arXiv · Исследования и наука G3VLA: новый подход к пространственному восприятию в робототехнике Исследователи представили архитектуру G3VLA, которая внедряет геометрические индуктивные смещения в модели Vision-Language-Action (VLA). В отличие от стандартных моделей, привязанных к 2D-координатам изображений, G3VLA использует калиброванную геометрию камер робота. Это позволяет системе эффективно объединять данные с нескольких камер, обеспечивая точное понимание 3D-пространства, необходимое для выполнения сложных манипуляционных задач в реальных условиях. arXiv · Машинное обучение Метод VLK для обучения человекоподобных роботов сложным манипуляциям Исследователи представили фреймворк VLK (Vision-Language-Kinematics), решающий проблему нехватки данных для обучения человекоподобных роботов одновременному перемещению и манипуляции объектами. Система генерирует синтетические наборы данных, объединяющие эгоцентрические изображения, текстовые инструкции и кинематические траектории, что позволяет роботам эффективнее связывать визуальное восприятие с физическими действиями в сложных сценариях. arXiv · Машинное обучение Новый метод обучения VLA-моделей через разделение физики и семантики Исследователи предложили новый подход к обучению Vision-Language-Action (VLA) моделей, разделяющий приобретение физических навыков и семантическое понимание задач. Вместо сбора дорогостоящих экспертных демонстраций, метод использует предварительное обучение на неразмеченных видео для освоения базовой моторики, что позволяет значительно снизить зависимость от дефицитных данных при создании робототехнических агентов. arXiv · Машинное обучение InSight: новый метод автономного обучения навыкам для VLA-моделей Исследователи представили InSight — фреймворк, позволяющий Vision-Language-Action (VLA) моделям самостоятельно осваивать новые манипуляционные навыки без необходимости в дополнительных демонстрациях. Система делает модели управляемыми на уровне элементарных действий, что позволяет агентам комбинировать базовые движения для выполнения сложных задач, выходящих за рамки их исходного обучающего набора данных. arXiv · Машинное обучение Новая VLA-модель для робототехники с поддержкой калибровки «на лету» Исследователи представили модель Vision-Language-Action (VLA), способную адаптироваться к изменению положения камер без предварительной калибровки. В отличие от существующих решений, требующих жесткой привязки внешних параметров, новая архитектура обеспечивает устойчивость к перемещению или переустановке камер в реальных условиях эксплуатации, что значительно упрощает развертывание робототехнических систем в динамических сценариях. arXiv · Машинное обучение Новый метод обучения роботов через использование априорных знаний о движении Исследователи представили метод обучения роботов, который решает проблему нехватки физических навыков у моделей Vision-Language-Action (VLA). Вместо обучения управлению движением с нуля, авторы внедрили механизм априорных знаний об действиях (action priors). Это позволяет модели эффективнее переносить навыки между различными типами робототехнических платформ, значительно ускоряя процесс адаптации к новым задачам манипуляции объектами. MarkTechPost · Модели и релизы Robbyant представила LingBot-VLA 2.0: открытую модель для управления роботами Robbyant, подразделение Ant Group, выпустило LingBot-VLA 2.0 — открытую Vision-Language-Action модель с 6 млрд параметров, предназначенную для управления различными типами роботов. Система обучалась на 60 000 часов данных, объединяя траектории движений 20 конфигураций роботов и видеозаписи действий человека, что позволяет унифицировать управление разнородными манипуляторами через единое пространство действий. arXiv · Машинное обучение LIME: новый метод обучения ИИ управлению камерой робота через текстовые инструкции Исследователи представили LIME — метод обучения роботов управлению камерой на основе текстовых намерений пользователя. Система позволяет автономным устройствам динамически корректировать угол обзора для осмотра объектов или устранения окклюзий, опираясь на эгоцентрические видеоданные. Это решение закрывает разрыв между навигационными командами и манипуляционными действиями, обеспечивая более естественное взаимодействие робота с окружающим пространством через понимание контекста задачи. arXiv · Исследования и наука TACTFUL: новый фреймворк для тактильного распознавания объектов роботами Исследователи представили TACTFUL — фреймворк, позволяющий многопальцевым роботам идентифицировать и локализовать предметы в ограниченном пространстве исключительно с помощью осязания. В отличие от традиционных систем, опирающихся на компьютерное зрение, этот метод имитирует человеческую способность распознавать объекты на ощупь, что критически важно для работы в условиях плохой видимости или полной темноты, где визуальные сенсоры оказываются неэффективными.

← Все материалы