arXiv · 28.06.2026 ·Безопасность и алайнмент

Blackknife: новый метод атак на гетерогенные графовые нейросети

Исследователи представили Blackknife — метод «черного ящика» для проведения состязательных атак на гетерогенные графовые нейронные сети (HGNN). В отличие от существующих подходов, требующих доступа к градиентам или полным данным, Blackknife эффективно работает в условиях ограниченного числа запросов и отсутствия информации о структуре графа, что критически важно для оценки устойчивости сложных систем.

Гетерогенные графовые нейросети активно используются для анализа данных с различными типами узлов и связей, например, в рекомендательных системах или при выявлении мошенничества. Однако их уязвимость к целенаправленным искажениям данных до сих пор оставалась малоизученной. Новый метод позволяет злоумышленникам находить критические точки воздействия, даже если они имеют доступ только к финальным меткам классов, а не к вероятностным предсказаниям модели.

Алгоритм Blackknife минимизирует количество необходимых запросов к целевой модели, что делает атаку практически незаметной для систем мониторинга. Это исследование подчеркивает необходимость разработки более надежных механизмов защиты для графовых архитектур, работающих с реальными, часто неполными или зашумленными данными в условиях ограниченного доступа к внутренним параметрам системы.

Ключевые факты

Blackknife ориентирован на атаку «черного ящика» (black-box), где злоумышленник не знает архитектуру модели или веса.
Метод работает в режиме hard-label, то есть использует только итоговые предсказания модели без доступа к «мягким» оценкам (вероятностям).
Алгоритм оптимизирован для работы в условиях ограниченного количества запросов (query-limited), что повышает скрытность атаки.
Исследование сфокусировано на гетерогенных графовых нейросетях (HGNN), которые сложнее стандартных графовых моделей из-за разнообразия типов узлов и связей.
Работа направлена на выявление уязвимостей в системах, где требуется высокая устойчивость к состязательным атакам на графовые структуры.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Безопасность и алайнмент Уязвимость NLP-классификаторов к эволюционным состязательным атакам Исследователи представили новый метод генерации состязательных атак на NLP-модели, использующий эволюционные алгоритмы для подбора токенов. Метод позволяет обходить классификаторы, внося минимальные семантические изменения в текст, которые остаются незаметными для человека, но критически искажают предсказания нейросетей. Работа подчеркивает необходимость разработки более устойчивых архитектур для защиты систем обработки естественного языка от целенаправленных манипуляций. arXiv · Исследования и наука Устойчивость мультиагентных систем к кибератакам и скрытой динамике лидеров Исследователи представили математический метод обеспечения устойчивости гетерогенных линейных мультиагентных систем в условиях кибератак на исполнительные механизмы. Алгоритм позволяет ведомым агентам отслеживать траектории лидеров, даже если их динамика, скоростные ограничения и границы движения остаются скрытыми, а сеть подвергается внешнему воздействию, нарушающему целостность управления. arXiv · Исследования и наука Эффект ножниц: как изменение размера изображений влияет на устойчивость ИИ к атакам Исследователи проанализировали метод Input Diversity (DI), который традиционно используется для повышения эффективности состязательных атак на нейросети. Суть метода заключается в случайном изменении размера и добавлении отступов к входным данным на каждой итерации атаки. Ранее считалось, что такая вариативность неизменно улучшает переносимость атак между различными моделями, однако новое исследование опровергает универсальность этого подхода. arXiv · Исследования и наука Новый метод интерпретируемости для временных графовых нейронных сетей Исследователи представили новый метод объяснения работы временных графовых нейронных сетей (ETGNN), основанный на анализе потоков информации, индуцированных признаками. Подход решает проблему «черного ящика» в сложных моделях, которые анализируют динамические данные, такие как социальные сети или рекомендательные системы, позволяя точно отслеживать, какие именно события и признаки влияют на итоговые предсказания нейросети. arXiv · Исследования и наука Новый подход к созданию синтетических данных для интерпретируемости нейросетей Исследователи представили новый метод генерации синтетических наборов данных, предназначенных для тестирования методов интерпретируемости нейронных сетей. Существующие синтетические датасеты часто не отражают сложную иерархическую структуру реальных данных, что ограничивает их применимость при оценке того, как именно модели обучаются распознавать признаки. arXiv · Безопасность и алайнмент Новый метод атаки на LLM через скрытые вредоносные данные в обучающих выборках Исследователи представили метод Embedded Attack, позволяющий внедрять вредоносные инструкции в безобидные наборы данных для дообучения языковых моделей. В отличие от классических атак, этот способ скрывает опасные паттерны внутри стандартных задач, что делает их невидимыми для существующих систем фильтрации и защитных механизмов, которые анализируют примеры на индивидуальном уровне. arXiv · Машинное обучение Новый метод обучения графовых нейросетей для повышения точности классификации Исследователи представили метод Boundary Embedding Shaping, направленный на решение проблемы структурной запутанности в графовых нейронных сетях (GNN). Основная сложность при работе с графами заключается в том, что модели часто агрегируют информацию от семантически нерелевантных соседей, что приводит к зашумлению векторных представлений узлов. Особенно остро эта проблема проявляется для узлов, расположенных вблизи границ классов, где структурный шум размывает границы принятия решений и снижает общую точность классификации. arXiv · Машинное обучение Обзор состояния графовых нейронных сетей (GNN) в 2025 году Новый обзорный материал систематизирует развитие графовых нейронных сетей (GNN), которые превратились из узкоспециализированного метода в стандарт для работы с данными, имеющими реляционную структуру. Авторы анализируют дизайн-пространство архитектур, оценивают вычислительную эффективность механизмов передачи сообщений и определяют границы применимости графовых моделей в различных прикладных областях, от анализа социальных сетей до молекулярного моделирования. arXiv · Машинное обучение Гибридный метод обучения для адаптации к смене концепций в сетях Исследователи представили гибридный фреймворк активного онлайн-обучения, предназначенный для обнаружения сбоев в оптических сетях. Метод эффективно адаптируется к изменениям данных (concept drift), используя селективную маркировку на основе пороговых значений. Это позволяет поддерживать высокую точность прогнозирования при минимальных затратах на разметку потоковых данных, что критически важно для высоконагруженных телекоммуникационных систем. arXiv · Машинное обучение HiReLC: иерархическое обучение с подкреплением для сжатия нейросетей Исследователи представили HiReLC — фреймворк для автоматизированной оптимизации глубоких нейронных сетей, объединяющий квантование и структурную обрезку (pruning). Система использует иерархическое обучение с подкреплением, разделяя задачу на уровни абстракции. Это позволяет эффективно подбирать конфигурации битности и параметры прореживания для каждого блока сети, минимизируя потери точности при значительном сокращении вычислительных затрат.

← Все материалы