Исследователи представили BrainJanus — унифицированную архитектуру, объединяющую обработку данных нейронной активности мозга, визуальных стимулов и текстовых описаний. В отличие от традиционных подходов, разделяющих кодирование и декодирование сигналов мозга, модель рассматривает нейронную деятельность как мультимодальную систему, обеспечивая двустороннюю связь между внешними сенсорными данными и внутренними процессами мозга через единое латентное пространство.
Разработка решает проблему изоляции задач в нейронауке, где ранее кодирование (предсказание активности мозга по стимулам) и декодирование (восстановление стимулов по активности мозга) требовали разных подходов. BrainJanus использует механизмы кросс-модального выравнивания, что позволяет модели лучше понимать, как мозг интегрирует визуальную информацию и лингвистические концепты. Это открывает новые возможности для анализа нейровизуализационных данных и создания интерфейсов «мозг-компьютер» нового поколения.
Архитектура модели опирается на глубокое обучение с использованием трансформерных блоков, адаптированных для обработки временных рядов нейронной активности. Система демонстрирует высокую точность в задачах реконструкции визуальных образов на основе данных фМРТ, одновременно сопоставляя их с семантическими описаниями, что подтверждает эффективность предложенного метода интеграции данных.
Ключевые факты
- BrainJanus объединяет три домена: нейронную активность, визуальные данные и естественный язык.
- Модель преодолевает разрыв между задачами кодирования и декодирования, используя единый унифицированный фреймворк.
- Система учитывает внутреннюю природу мозга как мультимодальной интеграционной системы, а не просто набора сенсорных фильтров.
- Метод показывает значительный прогресс в точности реконструкции визуальных стимулов по данным нейронной активности по сравнению с узкоспециализированными моделями.