Компания Anthropic заявила о масштабной несанкционированной попытке извлечения знаний из модели Claude 3 Opus. По данным разработчика, Alibaba использовала API для сбора ответов модели, чтобы обучить на них собственную нейросеть Qwen. Это один из крупнейших зафиксированных случаев «дистилляции» проприетарных моделей, ставящий под угрозу коммерческую ценность закрытых ИИ-разработок.
Процесс дистилляции позволяет перенести «интеллект» мощной модели в более компактную и дешевую версию. В случае с Anthropic, злоумышленники систематически отправляли запросы к Claude 3 Opus, собирая огромные массивы данных, которые затем использовались для дообучения моделей семейства Qwen. Подобные действия нарушают условия использования API Anthropic, запрещающие создание конкурирующих продуктов на основе вывода их моделей.
Инцидент подчеркивает уязвимость текущих бизнес-моделей ИИ-компаний. Несмотря на наличие систем мониторинга, выявление подобных атак остается сложной задачей, так как запросы могут выглядеть как обычное взаимодействие пользователей. Этот кейс может привести к ужесточению правил доступа к API и внедрению более строгих методов защиты от автоматизированного сбора данных.
Ключевые факты
- Anthropic утверждает, что Alibaba использовала Claude 3 Opus для обучения моделей Qwen.
- Метод атаки заключался в массовой дистилляции знаний через API-запросы.
- Действия нарушают политику использования Anthropic, запрещающую создание конкурирующих моделей.
- Инцидент стал одним из самых крупных случаев кражи интеллектуальной собственности в сфере LLM.
- Компании пока не предоставили официальных комментариев о возможных юридических последствиях.