Исследователи представили математический инструментарий для анализа работы селективных State-Space моделей (SSM), таких как Mamba. Новый метод позволяет точно измерять вклад отдельных режимов в обработку информации, используя диагональную структуру матрицы состояний. Это дает возможность визуализировать, как модель распределяет данные по каналам и временным окнам, выявляя механизмы «миграции» входных сигналов между слоями.
Архитектура SSM, в отличие от классических трансформеров, опирается на механизм селекции, который динамически определяет параметры связи входов с внутренними модами. Однако до сих пор интерпретация этих процессов оставалась затруднительной. Предложенный подход через Gram-тензоры позволяет декомпозировать выходные данные модели на составляющие, соответствующие конкретным режимам работы, что делает внутреннюю логику принятия решений более прозрачной для исследователей.
Этот метод открывает путь к более глубокому пониманию того, как именно селективные модели «запоминают» контекст и какие именно компоненты архитектуры отвечают за долгосрочные зависимости. Анализ показывает, что информация в таких моделях не просто сохраняется, а активно перемещается между слоями и каналами в зависимости от характеристик входного потока, что критически важно для оптимизации архитектур нового поколения.
Ключевые факты
- Разработан метод точного измерения использования режимов (modes) в селективных SSM.
- Использование диагональной матрицы состояний позволяет разложить выходной сигнал на независимые вклады отдельных каналов.
- Введен Gram-тензор для анализа взаимодействия слоев, каналов и временных окон.
- Исследование раскрывает динамику «входно-управляемой миграции» (input-driven migration) данных внутри архитектуры Mamba.
- Метод предоставляет инструмент для интерпретации «черного ящика» селективных моделей без потери точности вычислений.