Исследование показывает, что дообучение моделей с открытым исходным кодом на ответах проприетарных LLM (метод дистилляции) часто приводит лишь к поверхностной имитации стиля, а не к реальному росту интеллектуальных способностей. Авторы доказывают, что такие модели склонны копировать ошибки и галлюцинации «учителя», не приобретая глубинных навыков рассуждения, необходимых для решения сложных задач.

В работе анализируется процесс, при котором небольшие модели обучаются на наборах данных, сгенерированных более мощными системами, такими как GPT-4. Несмотря на внешнее сходство ответов, тесты демонстрируют, что производительность подобных моделей на задачах, требующих логического вывода, остается значительно ниже оригинальных архитектур. Это ставит под сомнение эффективность стратегии «обучения по образцу» как способа достижения уровня топовых моделей.

Авторы подчеркивают, что имитация стиля общения создает иллюзию компетентности, которая легко разрушается при смене контекста или усложнении условий задачи. Вместо копирования выходных данных исследователи предлагают сосредоточиться на улучшении качества обучающих данных и архитектурных инновациях, которые позволяют моделям самостоятельно выстраивать логические цепочки, а не просто воспроизводить вероятностные распределения токенов, характерные для проприетарных систем.

Ключевые факты

  • Метод имитации (distillation) позволяет моделям с открытым кодом копировать формат ответов, но не глубинные способности к рассуждению.
  • Модели, обученные на данных проприетарных LLM, наследуют специфические ошибки и галлюцинации своих «учителей».
  • Качество ответов таких моделей резко падает при выходе за пределы обучающей выборки или при решении задач, требующих многошаговой логики.
  • Исследование подтверждает, что поверхностное сходство текста не является индикатором эквивалентности интеллектуальных возможностей моделей.
  • Авторы призывают к пересмотру подходов к созданию компактных моделей, делая упор на качество данных, а не на простое копирование результатов работы закрытых систем.