Французская компания Mistral AI заняла одну из нижних позиций в рейтинге безопасности Frontier Model Forum (FLI), продемонстрировав недостаточную устойчивость моделей к потенциальным рискам. Исследование оценивало способность ИИ-систем противостоять генерации вредоносного контента, киберугрозам и попыткам обхода этических ограничений, где европейский разработчик уступил ключевым конкурентам из США, таким как OpenAI и Anthropic.
Индекс безопасности, разработанный Future of Life Institute, фокусируется на прозрачности процессов обучения и способности моделей следовать инструкциям по безопасности в критических сценариях. Низкий балл Mistral стал предметом дискуссий о балансе между открытостью архитектур компании и их защищенностью. В отличие от закрытых проприетарных систем, Mistral делает ставку на доступность весов своих моделей, что, по мнению экспертов, усложняет контроль над их использованием в нежелательных целях.
Результаты исследования подчеркивают разрыв в подходах к безопасности между ведущими игроками рынка. В то время как американские лаборатории инвестируют значительные ресурсы в «красные команды» (red teaming) и методы RLHF для фильтрации ответов, европейский подход пока демонстрирует меньшую зрелость в вопросах принудительного алайнмента. Это ставит перед разработчиками вопрос о необходимости пересмотра стратегии защиты моделей перед их публичным релизом.
Ключевые факты
- Mistral AI получила один из самых низких баллов в индексе безопасности FLI среди ведущих разработчиков ИИ.
- Оценка проводилась по критериям устойчивости к киберугрозам, генерации опасного контента и прозрачности процессов разработки.
- Исследование охватывало крупнейшие модели, доступные на рынке, включая разработки от OpenAI, Anthropic и Google.
- Основная претензия к Mistral связана с недостаточной проработкой механизмов защиты в открытых весах моделей.
- Рейтинг FLI направлен на стандартизацию безопасности в индустрии и повышение ответственности компаний за выпускаемые продукты.