Исследователи Meta (признана экстремистской организацией, деятельность запрещена в РФ) представили метод декодирования человеческой речи на основе неинвазивных записей активности мозга, таких как МЭГ и ЭЭГ. Система способна восстанавливать целые предложения, используя архитектуру, которая сопоставляет нейронные сигналы с семантическими представлениями, полученными из предобученных языковых моделей, что открывает новые возможности для нейрокомпьютерных интерфейсов.
Традиционные методы анализа мозговой активности часто ограничивались распознаванием отдельных слов или простых команд. Новый подход использует глубокое обучение для обработки временных рядов нейронных данных, позволяя модели улавливать контекстуальные связи в естественной речи. В основе метода лежит сопоставление данных с векторными представлениями (эмбеддингами) слов, что позволяет системе «понимать» смысл фразы, даже если сигнал зашумлен или неполный.
Технология опирается на способность современных LLM выстраивать сложные языковые структуры. Обучая модель на больших наборах данных, где одновременно фиксировались активность мозга и аудиозаписи прослушиваемой речи, ученые добились высокой точности в предсказании семантического содержания. Это исследование демонстрирует потенциал интеграции нейробиологии и генеративного ИИ для создания систем, способных интерпретировать сложные когнитивные процессы без необходимости хирургического вмешательства.
Ключевые факты
- Метод использует неинвазивные методы регистрации: магнитоэнцефалографию (МЭГ) и электроэнцефалографию (ЭЭГ).
- Система сопоставляет нейронные паттерны с семантическими эмбеддингами из языковых моделей для восстановления смысла предложений.
- Исследование направлено на развитие неинвазивных интерфейсов «мозг-компьютер» для помощи людям с нарушениями речи.
- Архитектура модели эффективно обрабатывает зашумленные данные, характерные для неинвазивных методов записи активности мозга.