Исследователи представили VAIOM — специализированную архитектуру на базе decoder-only трансформеров, адаптированную для работы с непрерывными финансовыми данными. В отличие от стандартных LLM, работающих с дискретными токенами, VAIOM эффективно обрабатывает зашумленные и гетерогенные рыночные показатели, разделяя этапы представления входных данных и прогнозирования вероятностных доходностей активов на часовых интервалах.

Традиционные языковые модели сталкиваются с трудностями при анализе финансовых рядов, так как их архитектура изначально оптимизирована под символьные последовательности. VAIOM решает эту проблему, внедряя механизм векторного ввода, который позволяет модели напрямую интерпретировать количественные рыночные наблюдения. Это обеспечивает более точное моделирование динамики цен и волатильности, сохраняя при этом преимущества авторегрессионного подхода.

Разработка ориентирована на высокочастотный трейдинг и анализ валютных рынков. Метод позволяет моделировать распределение вероятностей будущих доходностей, что критически важно для оценки рисков и принятия инвестиционных решений. Использование данной архитектуры открывает возможности для применения глубокого обучения в задачах, где точность прогноза напрямую зависит от обработки непрерывных потоков данных в реальном времени.

Ключевые факты

  • VAIOM (Vector-Input Autoregressive Inference for Ordinal-Return Modeling) — архитектура для прогнозирования финансовых временных рядов.
  • Модель специально разработана для обработки непрерывных, зашумленных данных, характерных для валютных рынков.
  • В основе лежит принцип разделения входного представления данных и генерации дискретного выходного прогноза.
  • Тестирование проводилось на часовых барах (one-hour bars) данных форекс-рынка.
  • Метод позволяет строить вероятностные модели доходности, что повышает качество анализа рыночных рисков.