Исследователи из Принстонского университета изучили, как мозг связывает действия с результатами, когда прямая обратная связь отсутствует. Работа объясняет механизм «кредитного присвоения» (credit assignment) при построении логических выводов. Понимание этих процессов помогает в разработке более эффективных алгоритмов обучения с подкреплением, позволяя ИИ-системам быстрее адаптироваться к сложным средам с косвенными зависимостями.

В основе исследования лежит концепция того, как нейронные сети мозга обновляют ценность действий, основываясь не только на непосредственном опыте, но и на ментальных моделях связей между событиями. Ученые использовали комбинацию функциональной МРТ и вычислительного моделирования, чтобы отследить активность в гиппокампе и префронтальной коре. Эти области работают совместно, позволяя человеку выстраивать цепочки причинно-следственных связей в условиях неопределенности.

Результаты показывают, что мозг использует «реплей» (повторное воспроизведение) прошлых событий для переоценки их значимости в свете новой информации. Этот биологический паттерн может стать основой для новых методов обучения глубоких нейронных сетей, которые часто сталкиваются с проблемой разреженных наград, когда агент должен совершить множество действий до получения сигнала об успехе или провале.

Ключевые факты

  • Исследование опубликовано в журнале Neuron издательства Cell Press в 2022 году.
  • Авторы сфокусировались на механизме «кредитного присвоения» при отсутствии прямой связи между действием и наградой.
  • В работе доказано участие гиппокампа в формировании когнитивных карт, необходимых для логического вывода.
  • Вычислительные модели, основанные на данных эксперимента, демонстрируют более высокую скорость обучения по сравнению со стандартными методами обучения с подкреплением.