Ян Лекун о будущем JEPA и архитектуре ИИ к 2030 году

Ян Лекун, главный научный сотрудник Meta (признана экстремистской организацией, деятельность запрещена в РФ), представил видение развития ИИ-систем до 2030 года. Основной упор сделан на архитектуру JEPA (Joint Embedding Predictive Architecture), которая должна преодолеть ограничения текущих LLM, обеспечив моделям способность к глубокому пониманию физического мира, долгосрочному планированию и эффективному обучению на основе видеоданных, а не только текста.

Текущие большие языковые модели, по мнению Лекуна, ограничены своей авторегрессионной природой, что делает их склонными к галлюцинациям и неспособными к реальному рассуждению. Архитектура JEPA предлагает иной подход: вместо предсказания следующего токена система учится предсказывать абстрактные представления состояний мира. Это позволяет моделям строить внутренние модели реальности, что критически важно для создания автономных агентов, способных выполнять сложные задачи в реальной среде.

В рамках работы лаборатории AMI (AI Model Intelligence) фокус смещается на создание систем, которые обучаются на огромных массивах неразмеченного видео. Такой подход имитирует процесс познания мира человеком и животными, где визуальный опыт является первичным источником знаний. К 2030 году Лекун прогнозирует переход от чат-ботов к полноценным интеллектуальным помощникам, которые будут обладать «здравым смыслом» и способностью к автономному планированию действий.

Ключевые факты

• JEPA (Joint Embedding Predictive Architecture) нацелена на обучение моделей через предсказание абстрактных представлений, а не отдельных пикселей или токенов.
• Основным источником данных для обучения систем нового поколения выбраны видеоматериалы, позволяющие модели усваивать причинно-следственные связи.
• Главная цель развития архитектуры к 2030 году — достижение уровня «человеческого здравого смысла» и способности к долгосрочному планированию действий.
• Лаборатория AMI занимается фундаментальными исследованиями, направленными на преодоление барьеров, с которыми сталкиваются современные трансформеры в задачах рассуждения.
• Переход от текстовых моделей к мультимодальным системам с глубоким пониманием физики мира рассматривается как ключевой этап эволюции ИИ.