Исследователи представили новый подход к реализации обучения в контексте (ICL) в импульсных нейронных сетях (SNN). Ранее такие модели не справлялись со сложными задачами, требующими адаптации на лету. Авторы статьи доказали, что использование дендритных структур в однослойных сетях позволяет эффективно имитировать механизмы градиентного спуска, сопоставимые с возможностями современных трансформеров и моделей пространства состояний.
Традиционные импульсные нейронные сети испытывали трудности с бенчмарком Garg-2022 при увеличении размерности задач. Проблема заключалась в неспособности стандартных архитектур SNN эффективно кодировать и извлекать информацию в процессе прямого прохода. Внедрение дендритных вычислений позволяет модели динамически настраивать веса на основе входных данных, что открывает путь к созданию энергоэффективных нейроморфных систем с когнитивными способностями, близкими к биологическим аналогам.
Этот прорыв меняет представление о вычислительных возможностях нейроморфного железа. Вместо громоздких многослойных структур, требующих значительных ресурсов, предлагаемая архитектура демонстрирует, что даже простые однослойные системы способны к обучению в контексте при наличии правильной биологически обоснованной организации нейронов. Это значимый шаг для развития локального инференса на устройствах с крайне низким энергопотреблением.
Ключевые факты
- Разработана архитектура однослойной импульсной нейронной сети, способная к обучению в контексте (ICL).
- Решена проблема низкой производительности SNN на бенчмарке Garg-2022, связанная с нехваткой механизмов адаптации.
- Метод опирается на дендритные вычисления, которые имитируют процессы градиентного спуска внутри прямого прохода нейросети.
- Исследование доказывает возможность реализации сложных когнитивных функций в биологически правдоподобных моделях без использования классических трансформерных блоков.