arXiv · 30.06.2026 ·Исследования и наука

Исследование рисков утечки данных в семантических коммуникационных системах

Исследователи проанализировали угрозы конфиденциальности в семантических коммуникационных системах (SemCom), использующих промежуточные узлы-ретрансляторы. В таких сетях передается не «сырой» поток данных, а семантически значимая информация, извлеченная нейросетями. Авторы работы выявили риск «семантической утечки», при которой промежуточный узел может восстановить конфиденциальные данные из скрытых представлений, передаваемых между отправителем и получателем.

Семантическая коммуникация становится ключевым подходом для оптимизации передачи данных в условиях ограниченной пропускной способности. Однако использование промежуточных узлов для обработки латентных признаков создает уязвимости: злоумышленник или скомпрометированный ретранслятор способен интерпретировать передаваемые векторы, нарушая приватность пользователей. В статье предложены методы защиты, позволяющие минимизировать утечку информации при сохранении эффективности передачи.

Работа фокусируется на математическом моделировании приватности в архитектурах, где нейронные сети на стороне отправителя и ретранслятора работают совместно. Авторы демонстрируют, что без специальных механизмов защиты семантические представления содержат достаточно контекста для реконструкции исходных данных, что делает задачу обеспечения безопасности критически важной для внедрения SemCom в реальные сетевые инфраструктуры.

Ключевые факты

SemCom фокусируется на передаче только значимой для задачи информации, что повышает эффективность работы в условиях ограниченных ресурсов.
Выявлен эффект «семантической утечки», позволяющий промежуточным узлам восстанавливать исходные данные из латентных представлений.
Исследование описывает уязвимости в системах, где ретрансляторы напрямую обрабатывают признаки, сгенерированные нейросетями.
Предложены алгоритмические способы защиты, направленные на сохранение конфиденциальности при передаче семантически сжатых данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Безопасность и алайнмент Уязвимости бэкдоров в семантических коммуникациях при многопользовательском доступе Исследователи проанализировали риски безопасности в системах семантической связи (SemCom), работающих через каналы с множественным доступом. В таких сетях злоумышленники могут внедрять скрытые бэкдоры, искажающие интерпретацию данных на стороне приемника. Авторы работы предложили методы защиты, позволяющие минимизировать влияние вредоносных сигналов на точность семантического вывода при одновременной передаче данных от нескольких источников. arXiv · Машинное обучение Геометрия собственных чисел в анализе семантических атак на ИИ Исследователи представили новый теоретический подход к изучению уязвимостей моделей классификации, основанный на анализе геометрии собственных чисел. Работа фокусируется на проблеме семантических состязательных атак, при которых незначительные перефразирования текста приводят к изменению предсказаний модели, несмотря на сохранение исходного смысла и близость векторных представлений. Hacker News · Безопасность и алайнмент Анализ рисков безопасности при использовании моделей из публичных репозиториев Исследователи проанализировали уязвимости ИИ-приложений, использующих предобученные модели из популярных хабов. Основная угроза заключается в возможности внедрения вредоносного кода в веса моделей, что позволяет злоумышленникам обходить системы защиты, красть данные или выполнять несанкционированные команды в инфраструктуре пользователя. Работа систематизирует векторы атак на цепочку поставок ИИ-решений и предлагает методы их минимизации. arXiv · Память и RAG Многоагентный фреймворк для защиты конфиденциальности в RAG-системах Исследователи представили многоагентный подход к защите данных в RAG-системах, предотвращающий утечки конфиденциальной информации через вредоносные промпты. Метод использует семантическое переписывание извлеченного контекста, позволяя сохранять точность ответов модели при строгом соблюдении приватности. Система разделяет задачи анализа, фильтрации и реконструкции данных между специализированными агентами, что минимизирует риски компрометации чувствительных документов в процессе генерации. arXiv · Исследования и наука Исследование устойчивости нейросетей к случайным возмущениям входных данных Исследователи представили новый подход к оценке устойчивости нейронных сетей при воздействии случайного шума на входные данные. Авторы проанализировали взаимосвязь между точностью модели, выраженной через среднеквадратичную ошибку (MSE), и её стабильностью. Разработанная метрика позволяет с высокой вероятностью определять верхнюю границу ошибки нейросети, что критически важно для повышения надежности систем машинного обучения в реальных условиях эксплуатации. arXiv · Исследования и наука Исследование распространения предвзятости в мультиагентных системах Исследователи представили концепцию Contagion Networks — формальный метод для отслеживания того, как систематические ошибки и предвзятость моделей-оценщиков передаются между участниками мультиагентных систем. В архитектурах, где одни агенты проверяют или корректируют работу других, субъективные искажения в суждениях «оценщика» могут накапливаться и искажать итоговый результат всей цепочки обработки данных. arXiv · Исследования и наука SemRF: новый метод анализа динамики остаточного потока в LLM Исследователи представили SemRF (Semantic Reference Frames) — формализм для анализа вычислений внутри языковых моделей. Метод решает проблему «дрейфа измерений», возникающую при сравнении промежуточных состояний модели на разных слоях. Использование семантических якорей позволяет исследователям точно отслеживать эволюцию представлений данных, отделяя реальные вычислительные процессы от артефактов интерпретации, вызванных несоответствием координат чтения. Hugging Face - Blog · Безопасность и алайнмент Исследование MosaicLeaks: уязвимости ИИ-агентов при работе с данными Исследователи представили проект MosaicLeaks, посвященный анализу безопасности автономных ИИ-агентов в условиях работы с конфиденциальными данными. В ходе экспериментов изучалось, насколько эффективно модели могут защищать приватную информацию при выполнении сложных задач, требующих доступа к внешним источникам и базам данных. Основное внимание было уделено сценариям, в которых агент может непреднамеренно раскрыть чувствительные сведения в процессе обработки запросов или при взаимодействии с API. arXiv · Безопасность и алайнмент Уязвимости конфиденциальности в табличных foundation-моделях Исследователи выявили критические риски конфиденциальности в табличных foundation-моделях, использующих механизм внимания. Несмотря на обучение на синтетических данных, модели подвержены утечкам чувствительной информации при инференсе. В процессе in-context learning данные, передаваемые в качестве размеченных примеров, могут быть восстановлены через анализ весов внимания, что ставит под угрозу безопасность высокорисковых запросов в корпоративных системах. Hacker News · Безопасность и алайнмент Проблема конфиденциальности в ИИ: скрытые выводы моделей Основная угроза приватности при работе с нейросетями смещается от прямого раскрытия данных пользователем к способности моделей делать неявные выводы. Современные системы способны реконструировать личную информацию, такую как местоположение, демографические данные или состояние здоровья, анализируя косвенные признаки в запросах, даже если эти сведения не были переданы напрямую.

← Все материалы