Исследователи представили алгоритм для поиска стационарных точек невыпуклых функций, работающий исключительно через оракул сравнения. В отличие от классических методов, требующих вычисления градиентов, этот подход определяет, в какой из двух точек значение функции больше. Метод эффективен для дважды дифференцируемых функций с липшицевыми градиентами и гессианами, обеспечивая сходимость к ε-стационарной точке при ограниченном числе запросов.
Традиционные методы оптимизации в машинном обучении обычно полагаются на доступ к значениям функции или её градиентам. Однако в ряде прикладных задач, таких как обучение с подкреплением на основе предпочтений человека или настройка гиперпараметров, прямое измерение целевой функции затруднено или невозможно. Использование оракула сравнения позволяет обходить эти ограничения, предоставляя надежный способ навигации по сложным ландшафтам оптимизации без необходимости точных численных оценок.
Разработанный алгоритм демонстрирует теоретическую эффективность, сопоставимую с градиентными методами, при этом расширяя область применения оптимизационных техник на сценарии, где доступна только относительная информация. Это открывает новые возможности для обучения моделей в условиях, когда обратная связь от среды или пользователя носит качественный, а не количественный характер.
Ключевые факты
- Алгоритм предназначен для поиска стационарных точек невыпуклых функций в пространстве R^n.
- Метод использует оракул сравнения, который возвращает только информацию о том, в какой из двух точек значение функции выше.
- Предполагается, что целевая функция является дважды дифференцируемой, а её градиент и гессиан удовлетворяют условию Липшица.
- Подход позволяет оптимизировать функции без прямого доступа к их значениям или производным, что критично для систем с человеческим фидбеком.