Исследователи представили метод Offline-Online Curriculum Reinforcement Learning (OOC-RL), направленный на улучшение логических способностей мультимодальных моделей. Подход решает проблему «верных ответов при ошибочных рассуждениях», заставляя модель выстраивать прозрачные и достоверные цепочки промежуточных шагов. Это повышает интерпретируемость ИИ и снижает вероятность использования ложных закономерностей при обработке мультимодальных данных.

Современные мультимодальные модели часто демонстрируют высокие результаты в тестах, но их внутренние рассуждения остаются «черным ящиком». Модель может прийти к правильному выводу, опираясь на случайные корреляции, а не на фактическую логику. Новый подход использует пошаговое обучение с подкреплением, которое разделяет процесс на оффлайн-этап для формирования базовых навыков и онлайн-этап для уточнения стратегии рассуждений в динамических условиях.

Метод фокусируется на различении критически важных шагов в цепочке рассуждений от избыточных или ошибочных. За счет введения штрафов за нелогичные промежуточные выводы и поощрения за последовательную аргументацию, система учится минимизировать «галлюцинации» в логике. Это критически важно для задач, требующих высокой точности, таких как анализ медицинских изображений или технической документации, где каждый шаг рассуждения должен быть верифицируемым.

Ключевые факты

  • Метод OOC-RL использует комбинированный подход: оффлайн-обучение на статических данных и онлайн-оптимизацию через обучение с подкреплением.
  • Основная цель исследования — устранение разрыва между правильным итоговым ответом и ошибочными промежуточными логическими шагами.
  • Технология направлена на повышение надежности и интерпретируемости мультимодальных моделей в сложных задачах рассуждения.
  • Исследование подтверждает, что текущие модели склонны к поиску «коротких путей» (spurious shortcuts) вместо полноценного логического вывода.