OpenAI расширяет программу поиска уязвимостей, фокусируясь на оценке рисков, связанных с использованием моделей для создания биологических угроз. Компания привлекает экспертов для проверки способности ИИ-систем помогать в планировании и проведении биологических атак. Инициатива направлена на выявление критических пробелов в безопасности и предотвращение потенциального злоупотребления технологиями в области биологии.
Программа Bio Bug Bounty призвана систематизировать процесс тестирования моделей на предмет их осведомленности о процессах синтеза патогенов и других опасных биологических агентов. Участники, обнаружившие способы получения вредоносной информации через взаимодействие с моделью, получают вознаграждение. Этот подход позволяет разработчикам оперативно закрывать «слепые зоны» в фильтрах безопасности и корректировать политики алайнмента до того, как модели станут доступны широкому кругу пользователей.
Подобные меры отражают растущую обеспокоенность индустрии вопросами биобезопасности. Взаимодействие с научным сообществом помогает OpenAI не только тестировать устойчивость систем к «jailbreak»-атакам, но и глубже понимать границы допустимого контента, связанного с научными исследованиями двойного назначения. Полученные данные используются для дообучения механизмов защиты и совершенствования протоколов безопасности на этапе пре-релиза новых версий моделей.
Ключевые факты
- Программа сфокусирована на выявлении рисков, связанных с использованием ИИ для создания биологических угроз.
- Участники получают денежные вознаграждения за обнаружение уязвимостей, позволяющих извлечь опасную информацию.
- Основная цель — предотвратить использование моделей для планирования или реализации биологических атак.
- Результаты тестирования используются для усиления фильтров безопасности и корректировки политик использования моделей.