arXiv · 26.06.2026 ·Машинное обучение

Новый метод борьбы с ошибками накопления в генеративных моделях Flow Matching

Исследователи представили метод коррекции ошибки экспозиции (exposure bias) в моделях Flow Matching, использующий внутренние динамические сигналы самой модели. Вместо применения внешних эвристик или статических ограничений, предложенный подход анализирует частотные и направленные характеристики отклонений в процессе генерации, что позволяет модели самостоятельно корректировать траектории обучения и повышать качество синтеза данных.

Ошибка экспозиции возникает из-за расхождений между режимами обучения и инференса, что приводит к накоплению погрешностей при итеративном построении контента. В рамках предложенного подхода авторы разработали механизм, который динамически выравнивает распределения вероятностей, минимизируя дрейф траекторий. Это позволяет значительно улучшить стабильность генерации без необходимости в существенном увеличении вычислительных затрат на этапе обучения.

Метод опирается на концепцию направленной и частотной ректификации (Directional and Frequency Rectification). Система оценивает, как именно модель отклоняется от целевого распределения на разных этапах диффузионного процесса, и вносит корректирующие поправки в векторное поле. Такой подход делает генеративные модели более устойчивыми к ошибкам, возникающим при длинных последовательностях генерации, что критически важно для высокоточных задач синтеза.

Ключевые факты

Метод направлен на устранение ошибки экспозиции в архитектурах Flow Matching, которые сейчас являются стандартом для многих генеративных моделей.
Предложенный подход использует внутренние динамические сигналы модели вместо внешних статических ограничений.
Коррекция осуществляется через частотную и направленную ректификацию, что позволяет динамически выравнивать траектории генерации.
Технология снижает накопление погрешностей при итеративном инференсе, повышая общую точность и качество выходных данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. arXiv · Исследования и наука Новая архитектура для ускорения генеративного улучшения речи Исследователи представили архитектуру для улучшения качества речи, основанную на методе Flow Matching. В отличие от традиционных U-Net моделей, новый подход исключает пропускные соединения (skip-connections) и использует выравнивание латентных представлений. Это позволяет значительно сократить количество итераций при генерации, обеспечивая высокую скорость обработки, необходимую для работы систем в режиме реального времени. arXiv · Машинное обучение Метод семантической коррекции для авторегрессионных визуальных моделей Исследователи представили новый подход к повышению качества генерации изображений и видео в авторегрессионных визуальных моделях (AVM). Основная проблема таких систем заключается в многомасштабном подходе к синтезу: процесс разбивается на дискретные этапы с разной степенью детализации, из-за чего семантические ошибки, допущенные на ранних стадиях, накапливаются и приводят к искажениям в финальном результате. arXiv · Машинное обучение FlowEdit: адаптация TTS-систем без переобучения моделей Исследователи представили метод FlowEdit, позволяющий корректировать произношение в системах синтеза речи (TTS) на базе flow-matching без необходимости дообучения весов модели. Современные генеративные системы синтеза показывают высокое качество в режиме zero-shot, однако они остаются статичными после развертывания. Это приводит к устойчивым ошибкам при озвучивании редких имен собственных или специфических терминов, отсутствующих в обучающей выборке. arXiv · Исследования и наука Error-Conditioned Neural Solvers: новый подход к решению дифференциальных уравнений Исследователи представили метод Error-Conditioned Neural Solvers, который повышает точность нейросетевых суррогатных моделей при решении дифференциальных уравнений в частных производных (PDE). В отличие от стандартных подходов, рассматривающих задачу как чисто статистическую, новый метод динамически корректирует нарушения физических ограничений, что позволяет моделям эффективнее работать за пределами обучающей выборки и минимизировать остаточные ошибки. arXiv · Машинное обучение Новый метод Bi-CFM для решения обратных задач в хаотических системах Исследователи представили метод Bidirectional Conditional Flow Matching (Bi-CFM) для решения обратных задач в хаотических динамических системах. Алгоритм позволяет восстанавливать начальные условия по конечным состояниям, преодолевая проблемы неустойчивости и неоднозначности решений. Метод демонстрирует высокую точность в моделировании сложных систем, где традиционные подходы сталкиваются с вычислительными ограничениями из-за высокой чувствительности к малейшим изменениям параметров. arXiv · Машинное обучение Повышение устойчивости диффузионных моделей к зашумленным данным Исследователи предложили новый метод обучения диффузионных моделей, который делает их более устойчивыми к загрязненным обучающим выборкам. Традиционный подход, основанный на минимизации среднеквадратичной ошибки (MSE), часто оказывается чувствительным к выбросам и некачественным данным, что снижает итоговое качество генерации контента. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение MixTTA: новый метод адаптации моделей к изменениям данных в реальном времени Исследователи представили MixTTA — метод адаптации моделей в процессе тестирования (TTA), который решает проблему неэффективности стандартных подходов при изменении распределения данных. В отличие от традиционных методов, обновляющих параметры нормализации по отдельным каналам, MixTTA использует низкоранговое смешивание каналов, что позволяет модели лучше адаптироваться к структурным сдвигам в данных без необходимости переобучения. arXiv · Машинное обучение Исследование влияния позиционного смещения в методах дистилляции моделей Исследователи проанализировали эффективность метода On-Policy Distillation (OPD), который используется для ускорения обучения моделей с подкреплением через пошаговый контроль со стороны «учителя». Стандартный подход предполагает равномерное распределение весов для всех токенов при расчете функции потерь, однако новая работа доказывает, что такой метод не учитывает накопленные ошибки в длинных последовательностях.

← Все материалы