Исследователи представили метод Model Genome, позволяющий определять, была ли языковая модель обучена с нуля или является производной от другой архитектуры. Технология анализирует внутренние веса и паттерны активации нейросети, создавая уникальный «генетический отпечаток». Это решение помогает бороться с недобросовестным копированием моделей и повышает прозрачность цепочки поставок ИИ-решений в индустрии.
Проблема идентификации «родословной» моделей стала критической на фоне массового распространения open-source решений. Часто разработчики выпускают модели, которые формально считаются новыми, но по факту являются лишь дообученными версиями популярных архитектур вроде Llama или Mistral. Метод Model Genome позволяет верифицировать происхождение нейросети даже в тех случаях, когда веса были подвергнуты частичной модификации или квантованию.
Технология опирается на анализ статистических закономерностей, возникающих в процессе обучения. Даже после значительного дообучения (fine-tuning) исходные признаки «родительской» модели сохраняются в структуре весов. Это позволяет аудиторам и исследователям с высокой точностью определять, на какой базе была построена конкретная модель, что важно для соблюдения лицензионных соглашений и оценки вклада авторов в развитие технологий.
Ключевые факты
- Метод Model Genome использует анализ весов и активаций для создания цифрового отпечатка модели.
- Технология позволяет выявлять производные модели, даже если они прошли через этапы дообучения или сжатия.
- Инструмент решает проблему «модельного плагиата», подтверждая оригинальность архитектуры или её зависимость от существующих решений.
- Разработка направлена на повышение прозрачности экосистемы открытых моделей и защиту интеллектуальной собственности разработчиков.