arXiv · 24.06.2026 ·Исследования и наука

Закон масштабирования для прогнозирования биржевых стаканов

Исследователи проанализировали применимость законов масштабирования (scaling laws) к задачам прогнозирования лимитных книг заявок (LOB). Изучив широкий спектр моделей — от простых деревьев решений до специализированных нейронных архитектур, таких как MLPLOB, — авторы установили, что зависимость между вычислительными затратами на инференс и точностью прогноза описывается степенным законом. Это позволяет оптимизировать архитектуры для высокочастотного трейдинга.

Работа фокусируется на поиске баланса между задержкой (latency) и предсказательной способностью моделей. В отличие от задач обработки естественного языка, где масштабирование параметров часто приводит к линейному росту вычислительных затрат, в финансовом прогнозировании критически важна эффективность «структурной прямой работы» (structural forward work). Авторы показывают, что выбор архитектуры напрямую влияет на положение модели на границе эффективности, позволяя достигать требуемой точности при минимальных временных задержках.

Данное исследование подтверждает, что принципы, лежащие в основе современных LLM, применимы и к узкоспециализированным финансовым временным рядам. Понимание этой границы позволяет инженерам выбирать оптимальную сложность модели в зависимости от жестких требований к скорости исполнения торговых операций, избегая избыточных вычислений без потери качества прогноза.

Ключевые факты

Исследование опирается на бенчмарк FI-2010, ставший стандартом для оценки моделей прогнозирования биржевых стаканов.
Установлено, что эмпирическая граница между вычислительными затратами и ошибкой прогноза подчиняется степенному закону.
Архитектура MLPLOB выделена как наиболее эффективная в рамках протестированного семейства моделей.
Результаты позволяют предсказывать производительность модели на основе объема вычислений, что критично для систем с низкой задержкой (low-latency trading).

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Обучение и дообучение Масштабируемые законы дистилляции LLM для узкоспециализированных задач Исследователи вывели эмпирические законы масштабирования для дистилляции LLM, позволяющие прогнозировать качество сжатых моделей в зависимости от объема данных и коэффициента компрессии. Работа решает проблему высокой стоимости и задержек при развертывании крупных моделей, предлагая математически обоснованный подход к созданию компактных и эффективных версий нейросетей для специфических доменов без потери критических знаний. Hacker News · Исследования и наука Влияние вычислительных ресурсов на оценку производительности LLM Исследователи представили анализ того, как объем вычислительных мощностей, выделяемых на этапе инференса, напрямую влияет на результаты тестирования передовых языковых моделей. В работе рассматривается зависимость между временем обработки запроса, глубиной рассуждений и итоговой точностью ответов в сложных бенчмарках. Авторы подчеркивают, что текущие методы оценки часто не учитывают динамическое масштабирование ресурсов, что приводит к искажению реальных возможностей систем при их развертывании в продакшене. Hacker News · Разработка и инструменты Влияние стиля написания кода на стоимость токенов в LLM Исследование показывает прямую зависимость между стилем написания кода и расходами на API при работе с большими языковыми моделями. Автор проанализировал, как форматирование, использование комментариев и структура кода влияют на количество потребляемых токенов. Оптимизация стиля позволяет существенно снизить затраты на инференс без потери функциональности и читаемости программных решений при использовании LLM для генерации или рефакторинга. Hacker News · Бизнес и инвестиции Оптимизация расходов на LLM через выбор моделей под конкретные задачи Компании все чаще переплачивают за использование топовых моделей вроде GPT-4 в задачах, которые не требуют высокого уровня рассуждений. Анализ показывает, что значительная часть запросов к API приходится на простые операции: классификацию текста, извлечение сущностей или базовую суммаризацию. Для таких процессов использование флагманских нейросетей экономически нецелесообразно, так как более компактные и специализированные модели справляются с аналогичным качеством при кратно меньшей стоимости инференса. arXiv · Исследования и наука Исследование: почему текущие законы масштабирования LLM ведут к энергетическому кризису Новое исследование анализирует текущие законы масштабирования больших языковых моделей и указывает на их неустойчивость с точки зрения потребления энергетических ресурсов. Авторы доказывают, что даже при учете «эффекта пьедестала» — численного смещения, связанного с ненулевым значением функции потерь при бесконечном объеме данных, — проблема экспоненциального роста затрат на обучение и инференс моделей остается нерешенной. Hacker News · Исследования и наука Анализ эффективности использования токенов в LLM Исследователи провели аудит одного миллиарда токенов, чтобы выявить закономерности потребления ресурсов при работе с большими языковыми моделями. Основной вывод работы заключается в том, что значительная часть вычислительных затрат приходится на избыточные или неэффективные запросы, в то время как полезная информационная нагрузка составляет лишь малую долю от общего объема обработки. Hacker News · Машинное обучение Влияние системной обвязки на производительность LLM Исследование, проведенное на примере модели Claude, демонстрирует, что итоговая эффективность ИИ-системы зависит не только от архитектуры самой нейросети, но и от качества инженерной обвязки (harness). В ходе экспериментов одна и та же модель показала кардинально различающиеся результаты при использовании разных методов подготовки промптов, управления контекстом и структурирования входных данных. Это подтверждает гипотезу о том, что системная интеграция и способы подачи инструкций зачастую оказывают большее влияние на точность ответов, чем размер или базовая версия модели. Hacker News · Оценка и бенчмарки Сравнение производительности LLM в динамических агентных сценариях Платформа OpenRouter представила результаты тестирования различных языковых моделей в условиях симуляции, где агенты должны принимать решения в режиме реального времени. В рамках эксперимента модели помещались в динамическую среду, требующую быстрой реакции на меняющиеся обстоятельства. Цель исследования заключалась в оценке того, как архитектурные различия и методы обучения влияют на способность моделей эффективно управлять автономными объектами в условиях ограниченного времени. Hacker News · Оценка и бенчмарки Microsoft представила BenchPress для прогнозирования результатов LLM на бенчмарках Microsoft выпустила инструмент BenchPress, позволяющий предсказывать производительность больших языковых моделей на различных бенчмарках без необходимости их полного тестирования. Система использует мета-обучение для оценки способностей модели на основе ограниченного набора данных, что значительно сокращает вычислительные затраты и время, требуемое для оценки новых архитектур и версий моделей в процессе их разработки. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды.

← Все материалы