Подразделение Ant Group представило LingBot-World-Infinity — 14-миллиардную каузальную модель видеогенерации, функционирующую как интерактивный симулятор реальности. Архитектура модели использует инновационную маску внимания MoBA и дистилляцию на основе распределений, что позволяет агентам эффективно взаимодействовать с динамической средой, предсказывая последствия своих действий в долгосрочной перспективе с высокой точностью и стабильностью симуляции.
Ключевым нововведением стала технология Mixture of Bidirectional and Autoregressive (MoBA) attention mask. Она объединяет преимущества двунаправленного контекста для понимания сцены и авторегрессионного подхода для генерации последовательных событий. Это решает проблему накопления ошибок в длинных траекториях, что критически важно для создания автономных агентов, способных планировать действия в сложных физических или виртуальных мирах.
Модель прошла обучение на основе метода дистилляции с сопоставлением распределений, применяемого к длительным сессиям самообучения. Такой подход позволяет LingBot-World-Infinity не просто генерировать визуально правдоподобные кадры, но и соблюдать причинно-следственные связи в рамках симуляции. Это делает её мощным инструментом для обучения агентов в средах, где требуется понимание физики процессов и реакция на внешние стимулы.
Ключевые факты
- Размер модели составляет 14 миллиардов параметров.
- В основе лежит архитектура MoBA (Mixture of Bidirectional and Autoregressive) attention mask.
- Модель разработана подразделением Robbyant компании Ant Group.
- Основной упор сделан на долгосрочные самообучающиеся траектории для симуляции мира.
- Система предназначена для использования в качестве «агентной обвязки» (agentic harness) для embodied-интеллекта.