Исследователи представили метод Visual Contrastive Self-Distillation (VCSD), который позволяет эффективно обучать нейросети через самодистилляцию без привлечения внешних моделей-учителей. Подход устраняет необходимость в привилегированных данных или сложных асимметричных структурах, используя визуальные контрастные сигналы для формирования более качественного обучения студента. Это упрощает пайплайны подготовки моделей, сохраняя высокую точность при меньших вычислительных затратах на этапе подготовки обучающих сигналов.

Традиционные методы дистилляции (OPD) требуют наличия «учителя», который обладает более глубокими знаниями или доступом к дополнительной информации. В рамках on-policy self-distillation (OPSD) эта проблема частично решается, но часто требует создания искусственной асимметрии между учеником и учителем. Авторы новой работы доказывают, что использование визуальных контрастных признаков позволяет модели самостоятельно генерировать достаточно сильные обучающие сигналы, исключая потребность в дополнительных источниках данных.

Предложенный подход фокусируется на том, как модель может извлекать полезные представления из визуального контекста, не полагаясь на внешние ответы. Это открывает возможности для более автономного обучения нейросетей в задачах компьютерного зрения, где получение размеченных данных или использование тяжелых моделей-учителей является ресурсоемким процессом. Метод демонстрирует эффективность в задачах, где критически важна интерпретация визуальных данных без участия сторонних систем.

Ключевые факты

  • Метод VCSD исключает необходимость в использовании внешних моделей-учителей для процесса дистилляции.
  • Технология опирается на контрастное обучение, создавая асимметрию через визуальные признаки, а не через привилегированные ответы.
  • Подход оптимизирует on-policy обучение, снижая зависимость от внешних вычислительных ресурсов и размеченных датасетов.
  • Исследование опубликовано на платформе arXiv под номером 2607.21556v1.