arXiv · 18.06.2026 ·Исследования и наука

Рекуррентные нейросети могут аппроксимировать непрерывные функции через время работы

Исследователи представили доказательство того, что рекуррентные нейронные сети (RNN) способны аппроксимировать любые непрерывные функции на заданном отрезке, используя уникальный подход к повышению точности. В отличие от классических методов, требующих создания новой архитектуры сети при каждом повышении требований к точности, предложенная модель остается неизменной. Вместо изменения структуры сети, точность вычислений достигается за счет увеличения времени работы системы.

Математическое обоснование показывает, что для любой непрерывной функции на интервале [-1, 1] существует такая рекуррентная архитектура, которая при достаточно длительном выполнении итераций сходится к целевому значению с заданной погрешностью. Это означает, что вычислительный ресурс в данном случае конвертируется в качество аппроксимации без необходимости переобучения или масштабирования количества параметров нейросети.

Данный результат пересматривает традиционные подходы к универсальной аппроксимации, где точность обычно связывают с глубиной или шириной слоев нейронной сети. Возможность достижения высокой точности через временную динамику открывает новые перспективы для проектирования компактных моделей, способных адаптироваться к сложным задачам за счет длительности обработки данных, а не за счет увеличения объема памяти или вычислительных мощностей.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Оптимизация гиперпараметров в физически информированных нейросетях Исследователи представили новый подход к обучению физически информированных нейронных сетей (PINNs), предназначенных для решения дифференциальных уравнений в частных производных. Основная сложность таких моделей заключается в нестабильной сходимости и высокой чувствительности к выбору гиперпараметров, что вызвано невыпуклой структурой функции потерь, включающей множество физических ограничений. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Машинное обучение Новый метод оптимизируемых линейных релаксаций для функций активации Исследователи представили новый подход к формальной верификации нейронных сетей, основанный на использовании оптимизируемых линейных релаксаций для функций активации. Традиционные методы верификации, критически важные для обеспечения безопасности моделей в ответственных областях, часто требуют создания специализированных релаксаций вручную для каждой функции активации. Это ограничивает масштабируемость и затрудняет адаптацию к современным архитектурам. arXiv · Машинное обучение Новый метод адаптивного кодирования речи для импульсных нейронных сетей Исследователи представили метод адаптивного кодирования аудиосигналов для импульсных нейронных сетей (SNN). Основная проблема существующих систем заключается в несовпадении непрерывных акустических данных и дискретной природы импульсной обработки. Традиционные подходы используют фиксированные энкодеры, из-за чего нейросети вынуждены компенсировать неоптимальное представление входных данных, что снижает эффективность распознавания речи. arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. arXiv · Исследования и наука Новый подход к созданию синтетических данных для интерпретируемости нейросетей Исследователи представили новый метод генерации синтетических наборов данных, предназначенных для тестирования методов интерпретируемости нейронных сетей. Существующие синтетические датасеты часто не отражают сложную иерархическую структуру реальных данных, что ограничивает их применимость при оценке того, как именно модели обучаются распознавать признаки. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Машинное обучение Исследование монотонных нейросетей на основе теоремы Колмогорова-Арнольда Учёные представили исследование монотонных нейросетей, основанных на теореме Колмогорова-Арнольда. Монотонность — это свойство, при котором выходные данные модели изменяются в одном направлении при изменении входных данных. Это важно в задачах, где такие зависимости известны заранее, например, в экономике или науке. arXiv · Машинное обучение Физический подход к пониманию обучения и обобщения нейросетей Исследователи представили работу, анализирующую принципы работы глубокого обучения через призму статистической физики. Авторы отмечают, что современные нейронные сети часто демонстрируют поведение, противоречащее классическим статистическим моделям, что требует пересмотра фундаментальных представлений о процессе обучения и способности моделей к обобщению на новых данных. arXiv · Машинное обучение Ускорение численного моделирования потоков с помощью графовых нейросетей Исследователи представили новый метод ускорения алгебраических многосеточных решателей (AMG), используемых для решения уравнения Пуассона при моделировании несжимаемых потоков. Традиционные линейные методы часто сталкиваются с вычислительными сложностями из-за неоднородности расчетных сеток, что делает их узким местом в инженерных расчетах.

← Все материалы