Исследователи проанализировали механизм Rotary Position Embeddings (RoPE) и выяснили, что модели используют частоты позиционного кодирования крайне неравномерно. Авторы работы доказали, что выбор частот напрямую зависит от структуры относительных расстояний в обучающей выборке. Это открытие объясняет, как данные влияют на способность моделей к обобщению по длине контекста и помогает оптимизировать архитектуру трансформеров для работы с длинными последовательностями.
В основе работы лежит концепция «позиционных линз», где каждая частота RoPE отвечает за распознавание определенных пространственных зависимостей. Авторы показывают, что текущие методы обучения моделей часто игнорируют значительную часть доступного частотного спектра, что ограничивает эффективность экстраполяции на тексты, превышающие длину обучающих данных. Понимание этого механизма позволяет более точно настраивать гиперпараметры позиционного кодирования.
Результаты исследования предлагают новый взгляд на проектирование архитектур, ориентированных на работу с длинным контекстом. Вместо изменения алгоритмов интерполяции, авторы предлагают адаптировать распределение частот под специфику конкретных наборов данных, что позволяет достичь лучшей стабильности при масштабировании моделей на длинные последовательности без потери точности предсказаний.
Ключевые факты
- RoPE-частоты в обученных моделях распределяются крайне неравномерно, концентрируясь на определенных диапазонах.
- Выбор частот определяется структурой относительных расстояний между токенами в обучающем корпусе данных.
- Исследование вводит понятие «позиционных линз» для интерпретации того, как конкретные частоты кодируют информацию о позиции.
- Предложенный подход позволяет улучшить обобщающую способность моделей при работе с контекстом, превышающим длину тренировочных примеров.
- Работа предоставляет теоретическую базу для более эффективного проектирования позиционных эмбеддингов в современных LLM.