arXiv · 02.07.2026 ·Исследования и наука

Extreme Adaptive Transformer: новый подход к прогнозированию редких событий в данных

Исследователи представили архитектуру Extreme Adaptive Transformer, предназначенную для повышения точности прогнозирования временных рядов с редкими, но критически важными экстремальными значениями. Модель решает проблему «замыливания» аномалий в стандартных трансформерах, что критически важно для таких областей, как гидрология, управление водными ресурсами и системы раннего предупреждения, где пиковые показатели определяют эффективность принятия решений.

Традиционные модели на базе трансформеров часто демонстрируют низкую чувствительность к выбросам из-за особенностей механизмов внимания, которые стремятся к усреднению данных. Новый подход внедряет адаптивные механизмы, позволяющие модели фокусироваться на хвостах распределения, где сосредоточены редкие события. Это позволяет системе лучше распознавать паттерны, предшествующие экстремальным скачкам, и точнее предсказывать их амплитуду и время возникновения.

Метод прошел тестирование на специфических наборах данных, связанных с мониторингом стока рек и предотвращением наводнений. Результаты показывают значительное улучшение метрик точности при работе с сильно скошенными распределениями данных, где обычные нейросетевые архитектуры склонны недооценивать масштаб экстремальных явлений. Данная разработка расширяет возможности применения глубокого обучения в задачах, требующих высокой надежности при работе с нестандартными сценариями.

Ключевые факты

Разработана специализированная архитектура Extreme Adaptive Transformer для анализа временных рядов.
Основной фокус модели — повышение точности прогнозирования редких экстремальных событий в данных с высокой степенью асимметрии.
Модель успешно протестирована на задачах гидрологического прогнозирования, включая мониторинг уровня рек и управление рисками наводнений.
Архитектура преодолевает ограничения стандартных трансформеров, которые склонны игнорировать аномальные пики в пользу усредненных значений.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Adaptive Financial Transformer: новая архитектура для прогнозирования доходности акций Исследователи представили Adaptive Financial Transformer (AFT) — специализированную архитектуру для прогнозирования доходности акций в условиях нестабильных рынков. В отличие от стандартных трансформеров, модель использует механизм динамического управления вниманием, который адаптируется к текущему рыночному режиму. Это позволяет эффективнее учитывать семантические связи между финансовыми индикаторами и повышать точность предсказаний в меняющейся экономической среде. arXiv · Машинное обучение Гибридная архитектура LSTM и Vision Transformer для прогнозирования ошибок погоды Исследователи представили гибридную модель машинного обучения, предназначенную для коррекции ошибок в численных прогнозах погоды высокого разрешения (NWP). Система High-Resolution Rapid Refresh (HRRR), используемая метеорологами, часто сталкивается с неточностями, вызванными сложными атмосферными процессами, такими как конвекция, влияние рельефа и динамика пограничного слоя планеты. Традиционные методы не всегда справляются с учетом вертикальной структуры атмосферы, что приводит к накоплению погрешностей в краткосрочных прогнозах. arXiv · Исследования и наука TiRex-2: новая foundation-модель для многомерных временных рядов Исследователи представили TiRex-2 — фундаментальную модель для прогнозирования временных рядов, основанную на архитектуре xLSTM. В отличие от первой версии, работавшей с одномерными данными, TiRex-2 адаптирована для многомерных последовательностей. Модель эффективно обрабатывает потоковые данные, учитывая как исторические показатели, так и известные заранее будущие ковариаты, что критически важно для задач реального времени. Hacker News · Машинное обучение Next-Latent Prediction Transformers: компактные мировые модели Исследователи представили новый подход к созданию мировых моделей — Next-Latent Prediction Transformers (NLP-T). В отличие от традиционных моделей, NLP-T используют компактные представления, что позволяет значительно снизить вычислительные затраты при сохранении высокой точности. Hacker News · Исследования и наука Tree Transformers: новый подход к архитектуре нейросетей Исследователи представили архитектуру Tree Transformers, которая меняет способ обработки иерархических данных в нейронных сетях. В отличие от стандартных трансформеров, работающих с линейными последовательностями токенов через механизмы внимания, новая модель опирается на древовидную структуру данных. Это позволяет эффективнее моделировать зависимости в задачах, где важна вложенность и иерархия, например, при анализе синтаксиса языков программирования или сложных математических выражений. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. arXiv · Машинное обучение Исследование: устойчивые и адаптивные трансформеры с фиксированной точкой Учёные предложили новый подход к трансформерам с циклической архитектурой, который решает проблему распространения сигнала на больших глубинах. В статье на arXiv представлены Fixed-Point Reasoners — модели, способные адаптироваться к сложным задачам, требующим составного рассуждения. arXiv · Исследования и наука Линейные модели против трансформеров в прогнозировании временных рядов Исследователи поставили под сомнение доминирование сложных архитектур в задачах прогнозирования временных рядов. Анализ показал, что простая гребневая регрессия (Ridge regression) при правильной настройке предобработки данных способна конкурировать с современными трансформерами и фундаментальными моделями, обеспечивая сопоставимую точность при значительно меньших вычислительных затратах и сложности внедрения в производственные системы. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Исследования и наука Математический анализ обобщающей способности трансформеров в задачах дистрибутивной регрессии Исследователи представили теоретический анализ того, как архитектура Transformer справляется с задачами дистрибутивной регрессии. Работа фокусируется на понимании механизмов обобщения модели, которые позволяют эффективно работать с данными, представленными в виде распределений. Авторы математически обосновывают границы ошибок и условия, при которых трансформеры демонстрируют высокую предсказательную точность, что критически важно для понимания их успеха в глубоком обучении.

← Все материалы