Исследователи проанализировали объем и тематическую структуру научных работ, посвященных безопасности ИИ. Анализ показывает, что доля публикаций в этой сфере остается относительно небольшой по сравнению с общим потоком исследований в области машинного обучения. Работа классифицирует основные направления безопасности, выявляя ключевых игроков и методологические подходы, доминирующие в академической и индустриальной среде на текущий момент.
Основная часть исследований в области безопасности ИИ сегодня сосредоточена на интерпретируемости моделей, устойчивости к состязательным атакам и проблемах алайнмента. Авторы отмечают, что, несмотря на рост интереса, существует значительный разрыв между теоретическими изысканиями и практическими методами защиты крупномасштабных языковых моделей. Большинство работ исходит из академических институтов, однако вклад технологических корпораций в прикладные аспекты безопасности становится все более заметным.
Исследование подчеркивает, что безопасность ИИ перестала быть узкой нишей и трансформировалась в междисциплинарную область. Тем не менее, отсутствие единой таксономии затрудняет оценку прогресса. Анализ помогает понять, какие именно угрозы считаются наиболее приоритетными для научного сообщества и какие методы верификации поведения моделей сейчас находятся в центре внимания разработчиков.
Ключевые факты
- Исследование охватывает массив публикаций по машинному обучению, классифицируя их по уровню вовлеченности в проблематику безопасности.
- Основными направлениями признаны интерпретируемость (mechanistic interpretability), робастность и методы контроля поведения моделей.
- Выявлено, что академические институты лидируют по количеству фундаментальных работ, в то время как индустриальные лаборатории фокусируются на прикладных бенчмарках.
- Отмечена тенденция к увеличению доли работ, связанных с оценкой рисков в LLM, по сравнению с классическими задачами компьютерного зрения.