arXiv · 27.07.2026 ·Исследования и наука

Математическое доказательство невозможности коррекции дрейфа в генерации графов

Исследователи проанализировали проблему деградации генеративных моделей при работе с временными графами. Выяснилось, что при переходе от обучающей выборки к реальным данным неизбежно возникает дрейф распределения. Авторы математически доказали, что этот процесс является фундаментальным свойством системы и не поддается исправлению исключительно на основе наблюдаемых данных из-за неустранимой энтропии.

Работа вскрывает фундаментальное противоречие между «заострением» (sharpening) модели и накоплением дрейфа (drift). В процессе обучения генеративных моделей на эволюционирующих сетях разрыв между тренировочным периодом и фазой эксплуатации приводит к предсказуемому, но неустранимому снижению качества предсказаний. Исследование показывает, что попытки корректировки через стандартные методы наблюдения лишь частично маскируют проблему, не воздействуя на её математическую природу.

Полученные результаты ставят под сомнение эффективность текущих подходов к дообучению моделей на потоковых графовых данных. Вместо попыток исправить дрейф постфактум, авторы указывают на необходимость пересмотра архитектурных принципов генерации, которые учитывали бы невозможность полной компенсации расхождения распределений в динамических средах.

Ключевые факты

Установлено, что деградация моделей при работе с временными графами является математически неизбежной и общей для всех генеративных подходов.
Доказано, что дрейф распределения невозможно устранить только за счет анализа наблюдаемых данных из-за наличия неустранимой энтропии.
Выявлено прямое противоречие между точностью аппроксимации (sharpening) и стабильностью модели при изменении временного контекста.
Математический анализ функции потерь (masked flow-matching loss) показал, что расхождение данных невозможно компенсировать без изменения фундаментальных предположений о структуре графа.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Исследование: точность score matching не гарантирует стабильность диффузионных моделей Исследователи выявили фундаментальную проблему в обучении диффузионных моделей: низкая ошибка аппроксимации score-функции на прямой траектории не гарантирует численной стабильности при обратном сэмплировании. Авторы доказали, что даже при минимальной L2-ошибке на маргинальных распределениях, процесс генерации может приводить к расходимости, что ставит под сомнение надежность существующих методов оценки качества обучения моделей. arXiv · Исследования и наука Фундаментальные ограничения оценки транспортных отображений в генеративных моделях Исследователи проанализировали теоретические пределы оценки транспортных отображений, лежащих в основе современных генеративных моделей, таких как диффузионные модели и flow matching. Работа доказывает, что при отсутствии явной оптимизации транспортных затрат возникают статистические ограничения, влияющие на точность аппроксимации распределений. Авторы предлагают новые подходы к выбору более эффективных и статистически устойчивых отображений для обучения нейросетей. arXiv · Исследования и наука Что на самом деле изучают дискретные диффузионные модели Исследователи проанализировали внутреннюю механику дискретных диффузионных моделей, ответив на вопрос, что именно оптимизирует нейросеть в процессе обучения. Авторы доказали, что денойзер, отношение оценок (score ratio) и предикторы мостов являются математически эквивалентными объектами, представленными в разных координатах. Некорректный выбор системы координат при интерпретации сети приводит к изменению процесса обучения и генерации данных. arXiv · Машинное обучение Оптимизация визуальных генеративных моделей через распределенные награды Исследователи представили новый метод дообучения генеративных моделей, использующий распределенные награды вместо традиционных пообразных функций. Подход позволяет избежать «взлома наград» (reward hacking), при котором модели теряют разнообразие контента и создают визуальные артефакты. Новый фреймворк обеспечивает более точное соответствие целевым характеристикам, сохраняя при этом высокое качество и вариативность генерируемых изображений в процессе обучения. arXiv · Машинное обучение Новый метод борьбы с ошибками накопления в генеративных моделях Flow Matching Исследователи представили метод коррекции ошибки экспозиции (exposure bias) в моделях Flow Matching, использующий внутренние динамические сигналы самой модели. Вместо применения внешних эвристик или статических ограничений, предложенный подход анализирует частотные и направленные характеристики отклонений в процессе генерации, что позволяет модели самостоятельно корректировать траектории обучения и повышать качество синтеза данных. arXiv · Машинное обучение Математические риски нелинейной агрегации градиентов в обучении моделей Исследователи проанализировали влияние нелинейной агрегации градиентов на сходимость и обобщающую способность моделей. В современных пайплайнах, включающих адаптивность, приватность и робастность, стандартные гарантии выпуклого обучения часто нарушаются из-за потери монотонности оператора обновления. Работа доказывает, что нелинейные методы агрегации могут приводить к нестабильности обучения, что требует пересмотра подходов к оптимизации сложных систем. arXiv · Исследования и наука Проблема последовательности в видеодиффузионных моделях Исследователи выявили фундаментальный изъян в современных видеодиффузионных моделях — «разрыв последовательности» (seriality gap). При моделировании цепочек причинно-следственных событий, таких как последовательные столкновения объектов, качество генерации падает по мере удлинения временной шкалы. Даже увеличение количества шагов шумоподавления не решает проблему накопления ошибок в динамических сценах, что ограничивает предсказательную способность моделей в сложных физических процессах. arXiv · Машинное обучение Компромисс между оценкой и предсказанием в каузальных временных графах Исследователи проанализировали фундаментальный конфликт в моделях временных графов, где стремление к точности параметров часто противоречит качеству прогнозирования. Работа показывает, что максимизация информации Фишера для восстановления параметров может приводить к снижению предсказательной способности из-за неразличимости модельных ошибок и неустранимой неопределенности данных, что критически важно для корректной оценки сложных вероятностных систем. arXiv · Исследования и наука Исследование: как распределение данных влияет на калибровку графовых нейросетей Исследователи проанализировали влияние сдвига распределения данных на калибровку графовых нейронных сетей (GNN). В реальных условиях, где данные постоянно меняются, модели часто теряют связь между предсказанной уверенностью и фактической точностью. Авторы работы выявили критические факторы, вызывающие ошибки калибровки, и предложили подходы, не требующие наличия размеченных данных из целевого распределения для настройки моделей. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных.

← Все материалы