arXiv · 02.07.2026 ·Машинное обучение

Self-explainable Operator Learning: новый подход к интерпретируемости нейросетей

Исследователи представили фреймворк для обучения операторов, который делает модели для анализа сложных физических систем прозрачными. Вместо использования «черных ящиков» нейронных сетей, авторы переформулировали задачу как линейную комбинацию интерпретируемых базисных функций. Это позволяет исследователям отслеживать логику предсказаний при моделировании пространственных паттернов в функциональных данных, сохраняя при этом высокую точность вычислений.

Традиционные методы обучения операторов, такие как нейронные операторы Фурье или DeepONet, часто критикуются за отсутствие интерпретируемости, что ограничивает их применение в критически важных научных областях. Новый подход решает эту проблему, внедряя механизм самообъяснения непосредственно в архитектуру модели. Это дает возможность визуализировать вклад отдельных компонентов в итоговый результат, что критически важно для физики, гидродинамики и материаловедения.

Метод опирается на декомпозицию оператора, где сложные нелинейные зависимости аппроксимируются через набор обучаемых базисных функций. Такой подход не только повышает доверие к результатам моделирования, но и упрощает процесс отладки моделей, работающих с непрерывными функциональными пространствами. Исследование демонстрирует, что интерпретируемость не требует существенных жертв в производительности или способности модели к обобщению на новые данные.

Ключевые факты

Разработан метод, превращающий обучение операторов в линейную комбинацию интерпретируемых функций.
Архитектура направлена на устранение проблемы «черного ящика» в моделировании сложных физических систем.
Подход позволяет напрямую анализировать пространственные паттерны в функциональных данных.
Метод сохраняет высокую точность при значительном повышении прозрачности процесса принятия решений моделью.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Higher-Order Fourier Neural Operator: новый подход к решению нелинейных дифференциальных уравнений Исследователи представили Higher-Order Fourier Neural Operator (HO-FNO) — архитектуру для аппроксимации операторов в функциональных пространствах. Метод расширяет классический FNO, внедряя механизм явного смешивания мод (mode mixer) для более точного моделирования нелинейных дифференциальных уравнений в частных производных (PDE). Решение позволяет эффективнее улавливать сложные динамические взаимодействия, сохраняя при этом инвариантность к разрешению входных данных. arXiv · Исследования и наука Новая теория объясняет способность нейросетей к обобщению через информационные узкие места Исследователи предложили теоретическую модель, объясняющую, почему перепараметризованные нейронные сети успешно обучаются без катастрофического переобучения. Авторы вводят понятие «информационной фрустрации» в нейронных многообразиях, используя теорию Шеннона для анализа того, как архитектуры с избыточными параметрами эффективно сжимают данные, преодолевая ограничения классических статистических подходов, таких как размерность Вапника-Червоненкиса. arXiv · Исследования и наука Нейронные сети через призму классической линейной регрессии Исследователи опубликовали работу, предлагающую новый взгляд на архитектуру нейронных сетей для специалистов, привыкших к методам классической статистики. Авторы доказывают, что базовые принципы работы нейросетей можно интерпретировать как расширенную форму линейной регрессии. Такой подход помогает преодолеть высокий порог входа в область глубокого обучения для статистиков, работающих в рамках частотной парадигмы. arXiv · Машинное обучение Физический подход к пониманию обучения и обобщения нейросетей Исследователи представили работу, анализирующую принципы работы глубокого обучения через призму статистической физики. Авторы отмечают, что современные нейронные сети часто демонстрируют поведение, противоречащее классическим статистическим моделям, что требует пересмотра фундаментальных представлений о процессе обучения и способности моделей к обобщению на новых данных. Hacker News · Исследования и наука Физический подход к пониманию обучения нейросетей Исследователи предложили новую теоретическую модель, объясняющую процесс обучения нейронных сетей через призму статистической физики. Авторы работы провели аналогию между изменением весов модели в процессе тренировки и поведением частиц в физических системах, стремящихся к состоянию минимальной энергии. Этот подход позволяет математически описать, как именно нейросети формируют внутренние представления данных и почему они достигают высокой точности на сложных задачах. arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. Hacker News · Исследования и наука Переосмысление теории среднего поля для нейронных сетей Исследователи предложили новый подход к анализу нейронных сетей через призму теории среднего поля, что позволяет глубже понять динамику обучения глубоких моделей. Традиционные методы часто упрощали архитектуры до бесконечной ширины, однако новая работа учитывает конечность слоев и весов, предлагая более точное описание того, как именно нейросети достигают сходимости и обучаются на сложных данных. arXiv · Машинное обучение Новый фреймворк для глубокого многозадачного обучения с разнородными данными Исследователи представили фреймворк для многозадачного обучения, решающий проблему несовместимости функций потерь при работе с разнородными типами данных. Метод использует общую разреженность (shared sparsity) для эффективного обмена информацией между задачами, что позволяет объединить разнотипные целевые переменные в единую оптимизационную задачу и повысить точность предсказаний в сложных системах с множественными исходами. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Машинное обучение Оптимизация гиперпараметров в физически информированных нейросетях Исследователи представили новый подход к обучению физически информированных нейронных сетей (PINNs), предназначенных для решения дифференциальных уравнений в частных производных. Основная сложность таких моделей заключается в нестабильной сходимости и высокой чувствительности к выбору гиперпараметров, что вызвано невыпуклой структурой функции потерь, включающей множество физических ограничений.

← Все материалы