MarkTechPost · 26.07.2026 ·Модели и релизы

Induction Labs представила Photon-1: мультимодальную модель для предсказания физики из видео

Компания Induction Labs анонсировала Photon-1 — фундаментальную модель, способную обучаться на «сырых» видеоданных без использования меток действий. Архитектура модели, основанная на принципе Mixture-of-Experts, позволяет предсказывать динамику систем, включая работу с интерфейсами рабочего стола и физические процессы, опираясь исключительно на визуальный ряд. Это решение устраняет необходимость в разметке действий, которая ранее выступала главным ограничением для обучения агентных моделей.

Традиционные подходы к обучению агентов на видео требовали точного сопоставления каждого кадра с конкретным действием, что существенно сужало возможности масштабирования. Photon-1 использует подход «моделей воображения» (imagination models), обучаясь предсказывать будущие состояния среды на основе предыдущих визуальных последовательностей. В ходе тестов модель продемонстрировала способность моделировать поведение компьютерных интерфейсов, играть в шашки и просчитывать траектории движения бильярдных шаров.

Техническая реализация Photon-1 базируется на разреженной архитектуре MoE, что позволяет эффективно управлять вычислительными ресурсами при сохранении высокой емкости знаний. Отказ от привязки к действиям (action-agnostic pretraining) открывает путь к созданию универсальных агентов, способных обучаться в любых визуальных средах, где доступна только демонстрация процесса, без доступа к логам управления или метаданным.

Ключевые факты

Модель Photon-1 построена на архитектуре Mixture-of-Experts (MoE) с параметрами 106B-A5B.
Обучение проводится на неразмещенных видеоданных без указания действий, совершаемых в кадре.
Система успешно моделирует сложные среды: от взаимодействия с десктопными приложениями до физики бильярда.
Подход направлен на преодоление «бутылочного горлышка» в виде необходимости ручной или автоматической разметки действий для обучения ИИ-агентов.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

MarkTechPost · Модели и релизы LingBot-World-Infinity: новая каузальная модель мира для ИИ-агентов Подразделение Ant Group представило LingBot-World-Infinity — 14-миллиардную каузальную модель видеогенерации, функционирующую как интерактивный симулятор реальности. Архитектура модели использует инновационную маску внимания MoBA и дистилляцию на основе распределений, что позволяет агентам эффективно взаимодействовать с динамической средой, предсказывая последствия своих действий в долгосрочной перспективе с высокой точностью и стабильностью симуляции. arXiv · Исследования и наука Мультиплеерные модели мира: новый подход к симуляции динамических сред Исследователи представили первую модель мира, способную моделировать высокодинамичные среды с участием нескольких независимых агентов. В отличие от традиционных систем, рассматривающих других участников как часть фона, новая архитектура учитывает потоки действий каждого игрока отдельно. Это позволяет модели точно атрибутировать изменения в сцене конкретным агентам и сохранять физическую согласованность при любых комбинациях их действий. NVIDIA Technical Blog · Обучение и дообучение Дообучение NVIDIA Cosmos 3 с помощью ИИ-агентов за один день NVIDIA представила метод ускоренного дообучения мультимодальной модели Cosmos 3, использующий автономных ИИ-агентов для оптимизации процесса. Подход позволяет повысить точность визуального мышления модели выше 90% практически без ручного вмешательства. Использование агентных навыков для автоматизации подготовки данных и настройки параметров сокращает цикл дообучения до одного дня, значительно упрощая адаптацию тяжелых моделей под специфические задачи. arXiv · Исследования и наука PhysisForcing: повышение физической достоверности видеогенераторов для робототехники Исследователи представили PhysisForcing — метод, повышающий физическую точность видеогенеративных моделей при симуляции манипуляций роботов. Решение устраняет проблему нереалистичных траекторий и нарушений взаимодействия объектов, характерную для стандартных генераторов видео. Новый подход позволяет создавать более надежные цифровые среды для обучения робототехнических систем, обеспечивая предсказуемость движений и физическую согласованность в сгенерированных сценариях взаимодействия. MarkTechPost · Инфраструктура для агентов Ant Group представила LingBot-VA 2.0: фундаментальную модель для физического ИИ Подразделение Robbyant компании Ant Group выпустило LingBot-VA 2.0 — специализированную модель для управления робототехникой. В отличие от решений на базе генеративного видео, эта архитектура с нуля спроектирована для воплощенного ИИ. Система использует причинно-следственное мышление для прогнозирования состояний среды и обеспечивает высокую частоту управления, что критически важно для автономных физических агентов в реальном времени. GitHub · Машинное обучение Масштабируемое обучение видеомоделей для воплощенного ИИ Проект LingBot-Video представляет новый подход к масштабированию обучения видеомоделей на основе архитектуры Mixture-of-Experts (MoE). Метод направлен на развитие воплощенного интеллекта (Embodied Intelligence), позволяя моделям эффективнее обрабатывать визуальные данные и обучаться на больших наборах видео, что критически важно для управления робототехническими системами и понимания динамических сред в реальном времени. Hacker News · Модели и релизы Inertia-1: новая фундаментальная модель для генерации движения Исследователи представили Inertia-1 — открытую фундаментальную модель, предназначенную для генерации и моделирования физически корректного движения. Проект направлен на создание универсального движка, способного предсказывать динамику объектов и персонажей в различных сценариях. Разработка предлагает новый подход к обучению моделей на основе данных о движении, что открывает возможности для более реалистичной анимации и симуляции в ИИ-системах. Hacker News · Исследования и наука Anthropic обучила Claude управлять роботами через визуальный интерфейс Компания Anthropic представила исследование, демонстрирующее способность модели Claude 3.5 Sonnet управлять робототехническими системами. ИИ анализирует визуальные данные с камер в реальном времени и преобразует их в последовательность команд для манипуляторов. Система демонстрирует высокую точность выполнения задач, требующих координации движений и понимания физического пространства, без необходимости специализированного обучения под конкретное оборудование. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Машинное обучение Latent Action Models: новый метод обучения агентов в визуально сложных средах Исследователи представили Latent Action Models (LAMs) — новый подход к обучению прокси-действий на основе визуальных переходов. Метод позволяет агентам выделять значимые действия из «шумных» сцен, где движения объекта смешиваются с динамикой камеры и фоновыми изменениями. Это решает проблему неоднозначности данных, позволяя эффективно обучаться без необходимости в прямой разметке действий в сложных визуальных средах.

← Все материалы