Организация METR опубликовала отчет о независимом тестировании модели GPT-5.6 Sol перед её выпуском. Исследование сфокусировано на оценке автономных способностей системы в выполнении сложных задач, связанных с кибербезопасностью и написанием кода. Результаты показывают, как современные LLM справляются с многоэтапными процессами без участия человека, что является важным этапом в понимании рисков перед развертыванием мощных ИИ-систем.
В ходе тестирования эксперты анализировали способность модели самостоятельно планировать действия, взаимодействовать с внешними инструментами и преодолевать препятствия в контролируемой среде. Основное внимание уделялось тому, насколько эффективно модель может использовать свои навыки для достижения целей, которые требуют не только генерации текста, но и практического исполнения команд в изолированной инфраструктуре.
Данный отчет подчеркивает переход от оценки статических знаний моделей к проверке их агентных возможностей. Анализ METR помогает разработчикам и регуляторам лучше понимать границы автономности ИИ и потенциальные угрозы, возникающие при предоставлении моделям доступа к инструментам разработки и сетевым ресурсам.
Ключевые факты
- Оценка проводилась организацией METR в рамках протокола предрелизного тестирования безопасности.
- Модель GPT-5.6 Sol продемонстрировала способность к выполнению автономных цепочек действий в задачах по программированию.
- Тестирование включало проверку устойчивости модели к попыткам обхода ограничений в ходе выполнения сложных сценариев.
- Отчет содержит данные о метриках успешности решения задач, требующих многошагового планирования и использования внешних API.
- Результаты исследования направлены на повышение прозрачности процессов оценки рисков перед широким внедрением новых поколений ИИ.