arXiv · 26.06.2026 ·Машинное обучение

Компромисс между оценкой и предсказанием в каузальных временных графах

Исследователи проанализировали фундаментальный конфликт в моделях временных графов, где стремление к точности параметров часто противоречит качеству прогнозирования. Работа показывает, что максимизация информации Фишера для восстановления параметров может приводить к снижению предсказательной способности из-за неразличимости модельных ошибок и неустранимой неопределенности данных, что критически важно для корректной оценки сложных вероятностных систем.

Традиционные подходы к оценке временных графов опираются на метрики предсказания связей на скрытых данных. Однако авторы доказывают, что такой подход смешивает два разных процесса: обучение модели и стохастическую природу самих графов. В бинарных логистических моделях это создает ситуацию, когда улучшение восстановления параметров не гарантирует рост точности прогноза, а иногда даже препятствует ему.

Результаты исследования предлагают новый взгляд на архитектуру каузальных моделей. Понимание этого компромисса позволяет разработчикам систем машинного обучения более точно настраивать функции потерь и выбирать стратегии регуляризации, избегая переобучения на «шум» в динамических сетях, где структура связей меняется во времени.

Ключевые факты

Исследование формализует конфликт между восстановлением параметров модели и её предсказательной эффективностью.
В бинарных логистических моделях режимы, максимизирующие информацию Фишера, не всегда оптимальны для прогнозирования.
Работа затрагивает проблему разделения модельной ошибки и неустранимой неопределенности в вероятностных временных графах.
Выводы исследования применимы к оптимизации алгоритмов для анализа динамических сетей и каузального вывода.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Новый подход к выбору вероятностных моделей для временных рядов Исследователи представили новый метод выбора оптимальных вероятностных моделей при работе с наборами временных рядов. Авторы анализируют использование надлежащих правил оценки (proper scoring rules) для агрегирования результатов на множестве временных рядов. Работа предлагает уточненные статистические подходы, позволяющие более точно оценивать качество прогнозирования моделей в условиях сложной динамики данных и высокой волатильности. arXiv · Исследования и наука Исследование методов оценки графовых фундаментальных моделей Исследователи представили комплексный анализ производительности графовых фундаментальных моделей (GFM), сфокусировавшись на задачах прогнозирования свойств узлов. Работа выявляет критические недостатки в текущих подходах к тестированию, предлагая стандартизированную методологию для объективного сравнения архитектур. Авторы демонстрируют, что многие современные модели показывают нестабильные результаты при смене наборов данных, что требует пересмотра подходов к их обучению и валидации. Hacker News · Исследования и наука Предел скрытых возможностей: почему масштабирование моделей не всегда решает задачи Исследование анализирует феномен «потолка скрытых возможностей» LLM, при котором дальнейшее увеличение параметров модели перестает приносить прирост качества в специфических бизнес-задачах. Автор доказывает, что после достижения определенного уровня архитектурной сложности эффективность упирается в фундаментальные ограничения данных и методов обучения, требуя перехода от простого масштабирования к изменению подходов к проектированию систем. arXiv · Исследования и наука Закон масштабирования для прогнозирования биржевых стаканов Исследователи проанализировали применимость законов масштабирования (scaling laws) к задачам прогнозирования лимитных книг заявок (LOB). Изучив широкий спектр моделей — от простых деревьев решений до специализированных нейронных архитектур, таких как MLPLOB, — авторы установили, что зависимость между вычислительными затратами на инференс и точностью прогноза описывается степенным законом. Это позволяет оптимизировать архитектуры для высокочастотного трейдинга. arXiv · Исследования и наука Линейные модели против трансформеров в прогнозировании временных рядов Исследователи поставили под сомнение доминирование сложных архитектур в задачах прогнозирования временных рядов. Анализ показал, что простая гребневая регрессия (Ridge regression) при правильной настройке предобработки данных способна конкурировать с современными трансформерами и фундаментальными моделями, обеспечивая сопоставимую точность при значительно меньших вычислительных затратах и сложности внедрения в производственные системы. arXiv · Исследования и наука Исследование раскрывает механизмы обобщения в моделях знаний Учёные изучили, как foundation models для графов знаний (KGFMs) обобщают информацию на новых данных. Эти модели способны предсказывать связи в незнакомых графах без дополнительного обучения, но их эффективность варьируется. arXiv · Исследования и наука Метод разрешения конфликтов знаний в LLM при работе с внешними данными Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных. arXiv · Машинное обучение Новый взгляд на теорию плоских минимумов в глубоком обучении Исследователи поставили под сомнение устоявшееся в глубоком обучении представление о том, что стохастический градиентный спуск (SGD) естественным образом стремится к «плоским» минимумам функции потерь, которые обеспечивают лучшую обобщающую способность нейросетей. Основная проблема заключается в том, что традиционные метрики оценки плоскости, такие как след или максимальное собственное значение гессиана, зависят от конкретной параметризации модели. Это означает, что при изменении представления весов, не влияющем на итоговую функцию сети, показатели «плоскости» могут меняться, что делает их ненадежными инструментами для анализа. arXiv · Машинное обучение Fed-CausalDiff: новый подход к федеративному обучению и причинно-следственному выводу Исследователи представили фреймворк Fed-CausalDiff, объединяющий методы федеративного обучения с принципами причинно-следственного вывода (causal inference). Традиционные подходы к распределенному обучению моделей фокусируются на анализе исторических данных, что ограничивает их способность предсказывать последствия действий в динамических средах. Новый метод решает эту проблему, позволяя моделям оценивать влияние различных стратегий без необходимости централизации конфиденциальной информации. arXiv · Машинное обучение Метод декомпозиции задач для повышения эффективности разметки данных Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей.

← Все материалы