Исследователи Sakana AI разработали алгоритм Error Diffusion, позволяющий обучать нейронные сети без использования классического метода обратного распространения ошибки (backpropagation). Новый подход имитирует биологические процессы, разделяя сигналы на возбуждающие и тормозящие потоки в соответствии с принципом Дейла. Метод демонстрирует высокую эффективность на стандартных датасетах, достигая точности 96,7% на MNIST и 61,7% на CIFAR-10.

Традиционный метод обратного распространения ошибки требует передачи весов в обратном направлении, что считается биологически неправдоподобным для нейронных цепей мозга. Технология Error Diffusion решает эту проблему с помощью модульной маршрутизации ошибок. Это позволяет строить двухпотоковые архитектуры, где нейроны выполняют либо только возбуждающие, либо только тормозящие функции, что ближе к принципам работы биологических нейронных систем.

Помимо классификации изображений, авторы протестировали алгоритм в задачах обучения с подкреплением. Результаты показывают, что архитектуры, соблюдающие принцип Дейла, способны эффективно обучаться без глобальной синхронизации весов, характерной для стандартных глубоких сетей. Исследование открывает путь к созданию более энергоэффективных и биологически обоснованных моделей ИИ, которые могут работать на аппаратном обеспечении, не поддерживающем классические методы обучения.

Ключевые факты

  • Метод Error Diffusion позволяет обучать нейросети без использования weight transport.
  • Точность модели на датасете MNIST достигла 96,7%.
  • Показатель точности на датасете CIFAR-10 составил 61,7%.
  • Архитектура сети разделена на два потока: возбуждающие и тормозящие нейроны.
  • Алгоритм успешно адаптирован для задач обучения с подкреплением.