Исследователи представили новый подход к дерандомизации PAC-Bayes оценок для функций потерь с высокой степенью гладкости. Традиционные методы оценки обобщающей способности моделей часто опираются на вероятностные предсказатели, что затрудняет их прямое применение к детерминированным алгоритмам. Авторы работы предлагают математический аппарат, позволяющий переносить теоретические гарантии с ансамблей типа Gibbs на конкретные детерминированные модели, используя свойства гладкости функции потерь и класса предсказателей.
Ключевым результатом исследования стало определение точной стоимости перехода от вероятностного предсказателя к детерминированному, основанному на среднем значении апостериорного распределения. Эта стоимость выражается через разрыв в обобщающей способности, что позволяет исследователям получать более строгие и применимые на практике границы ошибок для нейронных сетей и других моделей машинного обучения. Метод опирается на анализ того, как именно гладкость функции потерь ограничивает отклонения при переходе к детерминированному решению.
Данная работа вносит вклад в понимание теоретических основ машинного обучения, предлагая способ более точной оценки того, как модель будет работать на новых данных. Использование свойств гладкости позволяет минимизировать пессимизм традиционных теоретических оценок, делая их более полезными для анализа реальных архитектур. Это открывает возможности для более глубокого понимания процессов обучения и улучшения методов контроля переобучения в сложных системах.