Исследователи представили метод анализа, позволяющий эффективно переводить квадратичные механизмы self-attention в линейные без существенной потери качества модели. Авторы работы выявили, что softmax-внимание опирается на зависимые от ключей ортогональные проекции ранга 1, что открывает путь к оптимизации инференса для длинных контекстов через строгий контроль дизайна обновлений состояния в замороженных архитектурах.
Основная проблема классических трансформеров заключается в квадратичной зависимости вычислительных затрат от длины входной последовательности, что ограничивает работу с большими объемами данных. Существующие методы линейной аппроксимации часто страдают от деградации точности, так как сложно определить, какие именно компоненты архитектуры критически важны для сохранения логики модели.
В данной работе предложен подход, основанный на изоляции эффектов дизайна обновлений состояний. Авторы доказывают, что при правильном подходе можно заменить стандартные операции внимания на более производительные линейные аналоги, сохраняя при этом исходную производительность модели. Это исследование дает теоретическую базу для создания более быстрых и экономичных архитектур, способных обрабатывать длинные контексты с меньшими затратами ресурсов.
Ключевые факты
- Квадратичная сложность self-attention является главным узким местом при инференсе моделей с длинным контекстом.
- Исследование сфокусировано на анализе дизайна обновлений состояний в режиме «замороженного бэкбона» (frozen-backbone).
- Установлено, что механизм softmax в трансформерах базируется на ортогональных проекциях ранга 1, зависящих от ключей.
- Предложенный метод позволяет проводить линейную аппроксимацию с сохранением исходного качества модели.