Компания Anthropic опубликовала официальную позицию относительно открытых весов ИИ-моделей. Разработчик выступает за дифференцированный подход, при котором доступ к весам наиболее мощных систем должен быть ограничен для предотвращения рисков биологических угроз и кибератак. При этом компания признает пользу открытых моделей для исследований и инноваций, предлагая сбалансированную стратегию безопасности и прозрачности.
В документе подчеркивается, что по мере роста вычислительных мощностей и возможностей моделей, риски их неправомерного использования становятся критическими. Anthropic предлагает классифицировать модели по уровням риска, где системы с «пороговыми возможностями» требуют строгих протоколов контроля доступа, аналогичных тем, что применяются в индустрии биотехнологий или ядерной энергетики.
Компания настаивает на необходимости создания международных стандартов оценки безопасности перед публикацией весов. По мнению авторов, полная открытость всех моделей без исключения может привести к неконтролируемому распространению технологий, способных значительно упростить создание опасных патогенов или проведение масштабных автоматизированных кибератак на критическую инфраструктуру.
Ключевые факты
- Anthropic выступает против безусловной открытости весов для моделей, обладающих критическими возможностями.
- Предлагается внедрение системы оценки рисков, которая определяет, можно ли публиковать веса конкретной модели без угрозы общественной безопасности.
- Компания призывает к созданию глобальной нормативной базы, регулирующей распространение мощных ИИ-систем.
- Основной упор делается на предотвращение использования ИИ в создании биологического оружия и проведении сложных кибератак.
- Anthropic подчеркивает важность сохранения открытого доступа к менее мощным моделям для поддержки академических исследований и развития экосистемы.