Новое исследование показывает, что современные большие языковые модели обладают уникальными «цифровыми отпечатками», которые зависят от методологии обучения конкретной лаборатории, а не от архитектурных особенностей модели. Анализ поведения систем вроде GPT и Claude выявил устойчивые паттерны ответов, позволяющие с высокой точностью идентифицировать разработчика, даже если модель была подвергнута дообучению или смене версии.

Авторы работы проанализировали ответы моделей на широкий спектр промптов, оценивая их склонность к определенным стилистическим оборотам, форматам структурирования данных и способам аргументации. Выяснилось, что модели, созданные одной компанией, демонстрируют схожие «поведенческие привычки», которые сохраняются независимо от размера параметров или поколения модели. Это указывает на то, что процессы RLHF (обучение с подкреплением на основе отзывов людей) и специфические пайплайны подготовки данных формируют своего рода «корпоративный почерк» ИИ.

Результаты исследования ставят под сомнение идею о том, что модели разных разработчиков стремятся к единому «оптимальному» поведению. Напротив, каждая лаборатория навязывает системе свои предпочтения, которые становятся неотъемлемой частью логики модели. Это открытие имеет важное значение для оценки безопасности и предсказуемости ИИ, так как позволяет лучше понимать, какие именно этапы обучения оказывают наибольшее влияние на итоговую «личность» и когнитивные искажения системы.

Ключевые факты

  • Исследование подтвердило наличие «поведенческих отпечатков», позволяющих идентифицировать разработчика модели с точностью выше 90%.
  • Стилистические особенности ответов остаются стабильными при переходе между разными версиями моделей одного и того же вендора.
  • Основными факторами формирования «отпечатка» названы специфические наборы данных для RLHF и внутренние гайдлайны по безопасности, принятые в лабораториях.
  • Работа доказывает, что процесс дообучения (fine-tuning) не стирает базовые поведенческие паттерны, заложенные на этапе претрейна и настройки предпочтений.