arXiv · 16.06.2026 ·Машинное обучение

Исследование: дифференциальная приватность в гауссовых процессах

Учёные изучили вопрос приватности при публикации выборок из гауссовых процессов (GP), когда весь обучающий набор данных, включая ковариаты и ответы, является конфиденциальным. В отличие от стандартных механизмов дифференциальной приватности (DP), которые добавляют внешний шум, выборка из постереориорного распределения случайна по своей природе.

Исследование показывает, что эта внутренняя случайность обеспечивает гарантии DP. Авторы вывели явные оценки для Rényi-DP, что позволяет использовать гауссовы процессы для приватного машинного обучения. Это важно для задач, где важно сохранить конфиденциальность данных, например, в медицине или финансах.

Работа опубликована на arXiv и может быть полезна разработчикам, работающим с приватными данными. Исследование демонстрирует, что даже без добавления внешнего шума можно достичь высокого уровня приватности, используя внутренние свойства моделей.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод для оценки политик в reinforcement learning Исследователи предложили новый подход к временной разнице (TD) с линейным приближением функций — ключевому методу в reinforcement learning. Классическое описание этого метода основано на обыкновенных дифференциальных уравнениях (ODE), которые отражают средние асимптотические динамики, но не учитывают стохастические флуктуации, влияющие на погрешность. arXiv · Машинное обучение Исследование: закономерности пиков очередей в стохастических сетях Учёные изучили поведение пиков очередей в стохастических сетях, где множество очередей конкурирует за ограниченные ресурсы. В исследовании рассматриваются модели с зависимыми, изменяющимися во времени и адаптированными к прошлому потоками данных. Авторы показали, что при условии равномерного внутреннего запаса пропускной способности средний вектор прибытия остаётся в фиксированном сокращении области пропускной способности. arXiv · Машинное обучение Новый метод для устойчивых диффузионных политик Исследователи предложили новый подход для повышения устойчивости диффузионных политик, которые используются в управлении физическими системами. Проблема заключается в том, что конечномерные (FD) диффузионные политики страдают от временного дрейфа из-за артефактов дискретизации, что ухудшает их производительность на длительных временных горизонтах. arXiv · Машинное обучение Исследование переосмысливает методы сжатия датасетов в машинном обучении Учёные пересмотрели подходы к dataset distillation (DD) — методу, который позволяет создавать компактные обучающие наборы данных, сохраняя ключевую информацию из больших датасетов. Исследование, опубликованное на arXiv, выявило несоответствия в оценке эффективности DD-методов, которые часто тестируются по разным протоколам, от стандартного ERM до использования одного или нескольких учителей. Hacker News · Исследования и наука Исследование раскрывает парадокс эффективности ИИ Учёные из Массачусетского технологического института (MIT) и Стэнфорда опубликовали исследование, посвящённое парадоксу эффективности ИИ. В работе, размещённой на arXiv, авторы показывают, что несмотря на значительные улучшения в производительности ИИ-моделей, их реальная эффективность в практических задачах часто не соответствует ожиданиям. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Инференс и железо Как снизить задержки в системах с потоковыми данными Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning). arXiv · Память и RAG Исследование: как ИИ может генерировать ценные математические доказательства Недавнее исследование, опубликованное на arXiv, рассматривает проблему генерации ценных математических доказательств с помощью ИИ. Авторы моделируют этот процесс как вложенную генерацию языка в пределе, где формальный язык F, доступный через оракул принадлежности (проверяющий доказательства), содержит ценные математические утверждения. arXiv · Оценка и бенчмарки Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. arXiv · Машинное обучение Исследование монотонных нейросетей на основе теоремы Колмогорова-Арнольда Учёные представили исследование монотонных нейросетей, основанных на теореме Колмогорова-Арнольда. Монотонность — это свойство, при котором выходные данные модели изменяются в одном направлении при изменении входных данных. Это важно в задачах, где такие зависимости известны заранее, например, в экономике или науке.

← Все материалы