Исследователи представили новый метод анализа последовательностей транзакций, объединяющий контрастивное обучение представлений (CoLES) с моделями пространства состояний (SSM). Этот подход решает проблему вычислительной сложности классических архитектур, таких как трансформеры, и устраняет ограничения RNN при работе с длинными цепочками пользовательских действий, обеспечивая при этом высокую интерпретируемость и качество сжатых векторов представлений.
Традиционные методы моделирования последовательностей часто сталкиваются с дилеммой: RNN страдают от затухающих градиентов, а трансформеры требуют квадратичных вычислительных ресурсов при увеличении длины контекста. Использование селективных моделей пространства состояний, в частности архитектуры Mamba, позволяет эффективно обрабатывать транзакционные данные, сохраняя линейную зависимость сложности от длины последовательности. Это делает модель пригодной для анализа больших объемов данных о поведении пользователей в реальном времени.
Интеграция контрастивного обучения позволяет модели лучше улавливать скрытые паттерны в транзакциях, создавая более точные профили пользователей. Интерпретируемость, встроенная в предложенную архитектуру, дает возможность отслеживать, какие именно события в истории транзакций оказали наибольшее влияние на итоговое предсказание или классификацию, что критически важно для финансовых и рекомендательных систем.
Ключевые факты
- Метод объединяет контрастивное обучение (CoLES) с архитектурой Mamba (селективные SSM).
- Новая архитектура устраняет квадратичную сложность трансформеров при обработке длинных последовательностей.
- Подход обеспечивает линейное масштабирование вычислений, что повышает эффективность работы с транзакционными логами.
- Модель ориентирована на повышение интерпретируемости пользовательских представлений в задачах анализа поведения.