arXiv · 08.07.2026 ·Машинное обучение

PeTeR: новый метод повышения устойчивости вероятностных схем

Исследователи представили метод PeTeR (Post-Training Robustification of Probabilistic Circuits), направленный на повышение устойчивости вероятностных схем (PC) к шуму в данных и сдвигам распределения. Подход использует распределенно-устойчивую оптимизацию для корректировки моделей после завершения основного обучения, что позволяет улучшить точность обобщения в условиях ограниченных выборок и нестабильных входных данных без необходимости полного переобучения архитектуры.

Вероятностные схемы представляют собой мощный инструмент для моделирования сложных совместных распределений, обеспечивая при этом точные и эффективные вычисления. Однако традиционные методы обучения, основанные на максимизации правдоподобия, часто страдают от переобучения и низкой надежности при работе с зашумленными или неполными наборами данных. PeTeR решает эту проблему, внедряя механизм посттренировочной регуляризации, который делает модель менее чувствительной к выбросам.

Метод позволяет адаптировать уже обученные вероятностные схемы к новым условиям эксплуатации, сохраняя их вычислительную эффективность. Это критически важно для систем, где требуется высокая точность логических выводов в реальном времени, а доступ к большим объемам чистых данных ограничен. Техника демонстрирует значительное преимущество перед стандартными методами при работе с данными, подверженными статистическим искажениям.

Ключевые факты

Метод PeTeR фокусируется на посттренировочной оптимизации вероятностных схем для борьбы с переобучением.
Основная задача алгоритма — повышение устойчивости моделей к шуму, малым выборкам и сдвигам распределения данных.
Подход использует принципы распределенно-устойчивой оптимизации для улучшения обобщающей способности без изменения архитектуры.
Вероятностные схемы (PC) выбраны как объект исследования из-за их способности к точному и быстрому выполнению запросов на логический вывод.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод оценки обобщающей способности моделей через PAC-Bayes Исследователи представили новый подход к дерандомизации PAC-Bayes оценок для функций потерь с высокой степенью гладкости. Традиционные методы оценки обобщающей способности моделей часто опираются на вероятностные предсказатели, что затрудняет их прямое применение к детерминированным алгоритмам. Авторы работы предлагают математический аппарат, позволяющий переносить теоретические гарантии с ансамблей типа Gibbs на конкретные детерминированные модели, используя свойства гладкости функции потерь и класса предсказателей. arXiv · Исследования и наука Исследование устойчивости нейросетей к случайным возмущениям входных данных Исследователи представили новый подход к оценке устойчивости нейронных сетей при воздействии случайного шума на входные данные. Авторы проанализировали взаимосвязь между точностью модели, выраженной через среднеквадратичную ошибку (MSE), и её стабильностью. Разработанная метрика позволяет с высокой вероятностью определять верхнюю границу ошибки нейросети, что критически важно для повышения надежности систем машинного обучения в реальных условиях эксплуатации. arXiv · Исследования и наука PAC-байесовские гарантии для управления замкнутыми системами Исследователи представили новый метод получения теоретических гарантий для систем управления с обучением, использующих квадратичные функции потерь. Традиционные PAC-байесовские подходы сталкивались с трудностями из-за неограниченного характера таких функций, однако использование параметризации System Level Synthesis (SLS) позволило эффективно оценить поведение системы и обеспечить надежность предсказаний на ограниченных выборках данных. arXiv · Машинное обучение Метод Dithered Gaussian Mechanism для повышения эффективности дифференциальной приватности Исследователи представили механизм Dithered Gaussian, предлагающий новый подход к обеспечению дифференциальной приватности в машинном обучении. В отличие от традиционного дискретного гауссовского механизма, новый метод выполняет дискретизацию выходных данных, а не самого шума. Это позволяет сохранять строгие гарантии приватности, значительно снижая требования к вычислительным ресурсам и объему генерируемой случайности при обучении моделей. arXiv · Машинное обучение Повышение устойчивости нейросетевых алгоритмов реконструкции данных Исследователи представили новый фреймворк для решения обратных задач в машинном обучении, использующий методы дистрибутивно-робастной оптимизации (DRO). Подход позволяет нейросетям сохранять точность реконструкции даже при значительных отклонениях характеристик шума в тестовых данных от тех, что использовались при обучении, решая проблему слабой обобщающей способности стандартных моделей в условиях изменчивой среды. Lobsters · Машинное обучение Роль градиентного шума в обучении нейронных сетей Исследование механизмов градиентного шума раскрывает его фундаментальное влияние на процесс оптимизации нейронных сетей. В отличие от стандартных представлений о шуме как о помехе, современные подходы рассматривают его как инструмент, помогающий моделям преодолевать локальные минимумы в процессе обучения. Использование контролируемых возмущений позволяет алгоритмам градиентного спуска эффективнее исследовать ландшафт функции потерь, что способствует нахождению более устойчивых и обобщающих решений. arXiv · Машинное обучение Оптимизация визуальных генеративных моделей через распределенные награды Исследователи представили новый метод дообучения генеративных моделей, использующий распределенные награды вместо традиционных пообразных функций. Подход позволяет избежать «взлома наград» (reward hacking), при котором модели теряют разнообразие контента и создают визуальные артефакты. Новый фреймворк обеспечивает более точное соответствие целевым характеристикам, сохраняя при этом высокое качество и вариативность генерируемых изображений в процессе обучения. arXiv · Исследования и наука Математический подход к безопасности обучения моделей через Langevin Dynamics Исследователи представили новый теоретический метод оценки рисков при обучении нейронных сетей, использующих стохастический градиентный спуск. Авторы рассматривают процесс обучения как передемпфированную динамику Ланжевена и выводят математические границы вероятности попадания параметров модели в «опасные зоны» (failure regions), что позволяет контролировать стабильность и безопасность весов в процессе оптимизации функции потерь. arXiv · Машинное обучение Оптимизация гиперпараметров в физически информированных нейросетях Исследователи представили новый подход к обучению физически информированных нейронных сетей (PINNs), предназначенных для решения дифференциальных уравнений в частных производных. Основная сложность таких моделей заключается в нестабильной сходимости и высокой чувствительности к выбору гиперпараметров, что вызвано невыпуклой структурой функции потерь, включающей множество физических ограничений. arXiv · Машинное обучение Новый метод обучения PINN для решения обратных задач в физике Исследователи представили метод Target-Guided Selective Reweighting (TGSR) для обучения физико-информированных нейронных сетей (PINN). Подход решает проблему некорректно поставленных оптимизационных задач и конфликтов функций потерь при использовании трансферного обучения. Алгоритм динамически перевзвешивает данные, предотвращая негативный перенос знаний, когда физические механизмы или параметры исходной и целевой задач существенно различаются.

← Все материалы