arXiv · 26.06.2026 ·Машинное обучение

PEHT: новая архитектура трансформера для прогнозирования сетевого трафика

Исследователи представили Parameter-Efficient Hybrid Transformer (PEHT) — специализированную архитектуру для прогнозирования нагрузки в городских сотовых сетях. Модель эффективно обрабатывает сложные паттерны мобильности и динамику заторов, интегрируя внешние данные о дорожной ситуации. Новый подход позволяет оптимизировать распределение сетевых ресурсов, сохраняя при этом высокую точность предсказаний при ограниченных вычислительных затратах на обучение и инференс.

Проблема точного прогнозирования трафика заключается в высокой гетерогенности пользовательского поведения и зависимости сети от городской инфраструктуры. Традиционные модели часто требуют значительных ресурсов, что затрудняет их внедрение в реальном времени. PEHT решает эту задачу за счет гибридной структуры, которая сочетает механизмы внимания трансформеров с методами эффективного использования параметров, минимизируя избыточность вычислений.

Интеграция данных о динамических городских заторах позволяет модели лучше адаптироваться к резким изменениям спроса, вызванным перемещением населения. Это делает архитектуру пригодной для управления сетями 5G и будущими стандартами связи, где критически важна адаптивность к быстро меняющимся условиям среды. Метод демонстрирует баланс между производительностью и требованиями к аппаратному обеспечению.

Ключевые факты

Архитектура PEHT разработана для решения задач прогнозирования сетевого трафика в условиях высокой динамики городской среды.
Модель использует гибридный подход, объединяющий механизмы трансформеров с методами эффективного использования параметров (Parameter-Efficient).
Основной фокус исследования направлен на интеграцию данных о дорожных заторах для повышения точности предсказания нагрузки на сотовые вышки.
Решение нацелено на оптимизацию распределения ресурсов в сетях связи при снижении вычислительной сложности по сравнению со стандартными трансформерами.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Physics-Informed Fourier-Wavelet Transformer для моделирования гидродинамики Исследователи представили архитектуру Physics-Informed Fourier-Wavelet Transformer (PFWT), предназначенную для ускорения численного моделирования гидродинамики. Модель эффективно реконструирует поля скоростей, объединяя методы Фурье-преобразований и вейвлет-анализа. Новый подход позволяет точнее воспроизводить как глобальные потоки, так и локальные мелкомасштабные структуры, которые часто упускаются традиционными суррогатными моделями в сложных физических системах. arXiv · Исследования и наука Линейные модели против трансформеров в прогнозировании временных рядов Исследователи поставили под сомнение доминирование сложных архитектур в задачах прогнозирования временных рядов. Анализ показал, что простая гребневая регрессия (Ridge regression) при правильной настройке предобработки данных способна конкурировать с современными трансформерами и фундаментальными моделями, обеспечивая сопоставимую точность при значительно меньших вычислительных затратах и сложности внедрения в производственные системы. arXiv · Память и RAG Память в ИИ для прогнозирования трафика Исследователи из Университета Цинхуа и других ведущих вузов представили новый подход к прогнозированию состояния дорожного движения с использованием памяти. В статье, опубликованной на arXiv, они предлагают Memory-Augmented Graph Liquid Time-Constant Networks (M-GLTN) — модель, которая решает проблему нехватки данных в некоторых регионах за счёт переноса знаний из других областей. Hacker News · Машинное обучение Next-Latent Prediction Transformers: компактные мировые модели Исследователи представили новый подход к созданию мировых моделей — Next-Latent Prediction Transformers (NLP-T). В отличие от традиционных моделей, NLP-T используют компактные представления, что позволяет значительно снизить вычислительные затраты при сохранении высокой точности. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Машинное обучение Гибридная архитектура LSTM и Vision Transformer для прогнозирования ошибок погоды Исследователи представили гибридную модель машинного обучения, предназначенную для коррекции ошибок в численных прогнозах погоды высокого разрешения (NWP). Система High-Resolution Rapid Refresh (HRRR), используемая метеорологами, часто сталкивается с неточностями, вызванными сложными атмосферными процессами, такими как конвекция, влияние рельефа и динамика пограничного слоя планеты. Традиционные методы не всегда справляются с учетом вертикальной структуры атмосферы, что приводит к накоплению погрешностей в краткосрочных прогнозах. arXiv · Исследования и наука Генеративная модель для симуляции транспортных потоков на перекрестках Исследователи представили Enactor — генеративную модель, предназначенную для микросимуляции движения транспорта на регулируемых перекрестках. В отличие от традиционных систем, опирающихся на жестко заданные правила поведения водителей, новая разработка использует агентно-ориентированный подход. Это позволяет точнее воспроизводить сложные взаимодействия между автомобилями, которые часто упускаются классическими алгоритмами. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации. arXiv · Модели и релизы Новый подход к долгосрочному прогнозированию временных рядов Исследователи из Arxiv представили новый метод HAMON, который использует пассивное оптическое смешивание последовательностей для долгосрочного прогнозирования временных рядов. Этот подход демонстрирует, что простые линейные и частотные модели могут быть конкурентоспособными в задачах долгосрочного прогнозирования, что ставит под сомнение необходимость использования сложных трансформерных моделей в этом контексте. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей.

← Все материалы