arXiv · 16.06.2026 ·Машинное обучение

Исследование монотонных нейросетей на основе теоремы Колмогорова-Арнольда

Учёные представили исследование монотонных нейросетей, основанных на теореме Колмогорова-Арнольда. Монотонность — это свойство, при котором выходные данные модели изменяются в одном направлении при изменении входных данных. Это важно в задачах, где такие зависимости известны заранее, например, в экономике или науке.

Традиционные подходы к созданию монотонных нейросетей основаны на многослойных перцептронах (MLP) или потоковых моделях. Однако они не обеспечивают прозрачности на уровне отдельных связей. Новое исследование предлагает решение на основе Kolmogorov-Arnold Networks (KAN), которые позволяют вводить монотонность как индуктивный приоритет.

Авторы сравнили свою модель с существующими решениями, включая MonoKAN, и показали её преимущества в точности и интерпретируемости. Исследование опубликовано на arXiv и доступно для дальнейшего изучения.

Разработка таких моделей может улучшить качество прогнозов в областях, где монотонность выходных данных критически важна, например, в финансовом моделировании или научных расчётах.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новая библиотека KANLib для обучения нейросетей на основе KAN Исследователи представили KANLib — модульную и масштабируемую библиотеку для работы с Kolmogorov-Arnold Networks (KAN). Эти сети используют обучаемые унивариантные функции вместо линейных весов, что делает их более интерпретируемыми и выразительными по сравнению с традиционными multilayer perceptrons (MLP). Hacker News · Исследования и наука Исследование раскрывает архитектурную сложность нейросетей Учёные из Массачусетского технологического института (MIT) и Стэнфордского университета опубликовали исследование, посвящённое архитектурной сложности нейросетей. В работе, размещённой на arXiv, авторы анализируют, как структура нейронных сетей влияет на их производительность и обобщающую способность. arXiv · Модели и релизы Новый подход к долгосрочному прогнозированию временных рядов Исследователи из Arxiv представили новый метод HAMON, который использует пассивное оптическое смешивание последовательностей для долгосрочного прогнозирования временных рядов. Этот подход демонстрирует, что простые линейные и частотные модели могут быть конкурентоспособными в задачах долгосрочного прогнозирования, что ставит под сомнение необходимость использования сложных трансформерных моделей в этом контексте. Hacker News · Машинное обучение Почему переобучение в нейросетях работает лучше ожиданий Учёные из EPFL провели исследование, чтобы разобраться в феномене переобученности нейросетей. Оказалось, что переобученные модели часто показывают лучшие результаты, чем ожидалось. Это противоречит традиционным представлениям о том, что переобучение ведёт к ухудшению качества модели. arXiv · Машинное обучение Как графовые нейросети соотносятся с логическими формализмами Исследователи изучили связь между графовыми нейросетями (GNN) и логическими формализмами. Они показали, что при определённых архитектурных выборах, таких как функции агрегации, комбинации и активации, GNN могут быть эквивалентны логическим формулам. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Модели и релизы Как оптимально обрезать экспертов в моделях MoE Исследователи предложили унифицированный подход к обрезке экспертов в моделях Mixture-of-Experts (MoE), что может существенно снизить память и вычислительные затраты при развёртывании таких моделей. В статье, опубликованной на arXiv, авторы отмечают, что хотя MoE-модели эффективно распределяют вычисления между экспертами, их развёртывание всё равно требует хранения полного пула экспертов. Это создаёт проблемы с памятью, особенно при использовании в агентных системах, где важна эффективность инференса. arXiv · Инфраструктура для агентов Нейро-символический подход к синтезу стратегий для мультиагентных систем Исследователи предложили новый нейро-символический подход для синтеза стратегий в мультиагентных системах (MAS). Проблема заключается в высокой вычислительной стоимости проверки моделей стратегических возможностей, таких как ATL (Alternating-Time Temporal Logic). Авторы интегрировали большие языковые модели (LLM) в процесс проверки моделей, что позволяет значительно ускорить и улучшить синтез стратегий. Hacker News · Машинное обучение Meta-Attention: новый подход к архитектуре нейросетей Исследователи предложили концепцию Meta-Attention, которая может стать важным шагом в развитии архитектур нейросетей. В отличие от традиционного механизма внимания, который фокусируется на конкретных элементах данных, Meta-Attention позволяет модели динамически адаптировать свои параметры внимания в зависимости от контекста. Это может значительно улучшить способность моделей обрабатывать сложные и разнообразные задачи, что особенно важно для ИИ-агентов, которым требуется гибкость и адаптивность. arXiv · Модели и релизы Новый метод SoftMoE для эффективного масштабирования LLM Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов.

← Все материалы