Компания Anthropic опубликовала отчет «Path to Hope», в котором анализирует риски катастрофических последствий от использования мощных систем ИИ. Документ предлагает комплексный подход к обеспечению безопасности, сочетающий технические методы контроля, прозрачность разработки и международное сотрудничество. Основная цель — предотвратить злоупотребление технологиями в таких сферах, как биологическое оружие, кибератаки и автономное создание вредоносного контента.

В отчете подчеркивается, что текущие меры защиты моделей недостаточно эффективны против продвинутых угроз, которые могут возникнуть при переходе к системам уровня AGI. Anthropic выделяет необходимость создания стандартов оценки безопасности, которые должны стать обязательными для всех разработчиков передовых моделей. Это включает внедрение систем мониторинга поведения ИИ в реальном времени и создание механизмов «аварийной остановки» для предотвращения неконтролируемого распространения опасных навыков.

Ключевым аспектом стратегии является взаимодействие с государственными регуляторами для формирования глобальных правил игры. Компания настаивает на том, что прозрачность в вопросах безопасности не должна ограничиваться коммерческой тайной, а должна стать индустриальным стандартом. Anthropic призывает к созданию независимых аудиторских организаций, способных проводить стресс-тестирование моделей до их публичного релиза.

Ключевые факты

  • Anthropic классифицирует риски ИИ на уровни, где высший приоритет отдается предотвращению создания биологического оружия и масштабных киберугроз.
  • Предлагается внедрение обязательного «протокола безопасности» для моделей, чья вычислительная мощность превышает установленные пороги обучения.
  • Компания выступает за создание международных институтов для контроля за цепочками поставок оборудования и мощностей для обучения ИИ.
  • В документе подчеркивается важность инвестиций в методы интерпретируемости (mechanistic interpretability), позволяющие понимать внутренние процессы принятия решений нейросетями.
  • Предлагается модель «ответственного раскрытия», при которой критические уязвимости моделей передаются регуляторам до того, как они станут достоянием общественности.