arXiv · 26.06.2026 ·Исследования и наука

Новый метод идентификации латентных стохастических дифференциальных уравнений

Исследователи представили новый подход к решению проблемы идентифицируемости в непрерывных латентных моделях на основе стохастических дифференциальных уравнений (SDE). Используя сдвиги ковариации диффузии, вызванные изменениями внешней среды, авторы смогли восстановить причинно-следственные связи в данных временных рядов, что ранее было затруднительно для моделей с неизвестными нелинейными функциями наблюдения.

Работа закрывает существенный пробел в области причинного обучения представлениям (causal representation learning). В то время как для дискретных моделей уже существуют надежные методы идентификации параметров, непрерывные системы долгое время оставались «черным ящиком». Предложенный метод позволяет более точно интерпретировать динамику скрытых процессов, что критически важно для моделирования сложных систем в физике, биологии и экономике.

Математический аппарат исследования опирается на анализ аддитивного шума в латентных SDE. Авторы доказывают, что при наличии вариативности в условиях среды (environment-induced shifts) можно однозначно определить скрытые переменные и структуру динамики, даже если функция отображения из латентного пространства в наблюдаемое остается неизвестной. Это открывает путь к созданию более устойчивых и интерпретируемых моделей для анализа временных рядов.

Ключевые факты

Разработан метод идентификации для непрерывных латентных SDE-моделей через использование сдвигов диффузионной ковариации.
Решена проблема неоднозначности при восстановлении скрытых причинных факторов в нелинейных системах с непрерывным временем.
Метод позволяет проводить идентификацию параметров модели без предварительного знания функции наблюдения.
Исследование направлено на развитие методов причинного обучения представлениям (causal representation learning) для динамических данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод для оценки политик в reinforcement learning Исследователи предложили новый подход к временной разнице (TD) с линейным приближением функций — ключевому методу в reinforcement learning. Классическое описание этого метода основано на обыкновенных дифференциальных уравнениях (ODE), которые отражают средние асимптотические динамики, но не учитывают стохастические флуктуации, влияющие на погрешность. arXiv · Исследования и наука Новое исследование условий идентификации управляющих уравнений в ODE Исследователи представили теоретический анализ условий, при которых возможно однозначно и стабильно восстановить истинные управляющие уравнения на основе данных о решениях обыкновенных дифференциальных уравнений (ODE). Работа устанавливает границы идентифицируемости для линейных и нелинейных систем, что критически важно для развития методов научного машинного обучения и интерпретируемого моделирования сложных физических процессов. arXiv · Исследования и наука Новый подход к формальному доказательству теорем с помощью диффузионных моделей Исследователи представили метод Diffusion-Proof, направленный на преодоление ограничений стандартных авторегрессионных языковых моделей в задачах формальной математики. Традиционные модели, предсказывающие следующий токен, часто сталкиваются с трудностями при построении длинных логических цепочек, необходимых для верификации сложных математических доказательств. Новый подход переносит принципы диффузионных процессов в область формального вывода, позволяя моделям более эффективно исследовать пространство возможных доказательств. arXiv · Машинное обучение Новый метод выявления скрытых групп данных для повышения точности моделей Исследователи представили новый подход к решению проблемы ложных корреляций в машинном обучении. Современные модели часто показывают высокую среднюю точность, но допускают критические ошибки на недостаточно представленных подгруппах данных. Традиционные методы борьбы с этим явлением обычно требуют либо предварительной разметки подгрупп, либо использования псевдометок, которые не дают интерпретируемого результата на этапе инференса. arXiv · Машинное обучение Повышение устойчивости диффузионных моделей к зашумленным данным Исследователи предложили новый метод обучения диффузионных моделей, который делает их более устойчивыми к загрязненным обучающим выборкам. Традиционный подход, основанный на минимизации среднеквадратичной ошибки (MSE), часто оказывается чувствительным к выбросам и некачественным данным, что снижает итоговое качество генерации контента. arXiv · Машинное обучение Новый метод обучения систем диагностики неисправностей при дефиците данных Исследователи представили новый подход к проектированию интеллектуальных систем диагностики неисправностей (IFDS), основанный на анализе вибрационных сигналов. Традиционные методы глубокого обучения с переносом (Deep Transfer Learning) требуют значительных объемов размеченных данных, что создает серьезные препятствия при мониторинге технического состояния промышленного оборудования. В условиях реальной эксплуатации получение больших выборок с описанием поломок часто затруднено или экономически невыгодно. arXiv · Машинное обучение Новые теоретические границы для стохастического субградиентного метода Исследователи представили уточненные теоретические оценки для последнего итерата стохастического субградиентного метода применительно к одномерным выпуклым липшицевым функциям. Авторы доказали, что при фиксированном горизонте итераций $n$ и стандартном шаге $\eta = \Theta(1/\sqrt{n})$ ошибка оптимизации достигает порядка $1/\sqrt{n}$. Это фундаментальное уточнение устраняет необходимость в усреднении итераций для достижения оптимальной сходимости в заданных условиях. arXiv · Обучение и дообучение Масштабируемые законы дистилляции LLM для узкоспециализированных задач Исследователи вывели эмпирические законы масштабирования для дистилляции LLM, позволяющие прогнозировать качество сжатых моделей в зависимости от объема данных и коэффициента компрессии. Работа решает проблему высокой стоимости и задержек при развертывании крупных моделей, предлагая математически обоснованный подход к созданию компактных и эффективных версий нейросетей для специфических доменов без потери критических знаний. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. arXiv · Исследования и наука Улучшение точности прогнозирования LLM через управление признаками Исследователи представили метод повышения качества прогнозирования в больших языковых моделях, основанный на анализе их внутренних состояний. Используя разреженные автокодировщики, авторы выявили, что модели часто опираются на специфические временные знания, а не на общие закономерности. Управление этими внутренними признаками позволяет сместить фокус модели на обобщаемые паттерны, что значительно повышает точность предсказаний в различных задачах.

← Все материалы