Hacker News · 18.06.2026 ·Модели и релизы

SubQ: новая архитектура LLM для работы с длинным контекстом

Разработчики представили SubQ — специализированную языковую модель, архитектура которой оптимизирована для обработки многомиллионных контекстных окон. В отличие от стандартных моделей, использующих квадратичную зависимость вычислительных затрат от длины входных данных, SubQ применяет сублинейные методы вычислений. Это позволяет значительно снизить потребление памяти и ускорить логические операции при анализе сверхдлинных документов, баз кода или массивов данных.

Технология ориентирована на задачи, требующие глубокого анализа контекста, который выходит за рамки возможностей большинства современных LLM. Архитектурные изменения позволяют модели удерживать внимание на всей последовательности токенов без критического замедления инференса. Такой подход решает проблему «забывания» информации в длинных текстах и повышает точность ответов при работе с большими объемами исходных материалов.

Решение направлено на устранение ограничений, связанных с масштабированием контекстного окна в текущих генеративных системах. Оптимизация вычислительных ресурсов при работе с миллионами токенов открывает новые возможности для автоматизации анализа технической документации, юридических архивов и сложных исследовательских отчетов, где критически важна целостность восприятия всей структуры данных.

Источник: Hacker News

Похожие материалы

Hacker News · Модели и релизы SubQ 1.1: линейное масштабирование внимания с 98% точностью Исследователи представили обновлённую версию SubQ 1.1, модели, использующей линейно-масштабируемое разреженное внимание. Новый алгоритм обеспечивает 98% точность извлечения данных при работе с 12 миллионами токенов. Hacker News · Модели и релизы GLM-5.2: новая модель для сложных задач Компания Zhipu AI представила модель GLM-5.2, оптимизированную для выполнения сложных задач, требующих длительного контекста. Новая версия поддерживает до 128K токенов, что позволяет обрабатывать большие объёмы текста и выполнять задачи, требующие глубокого анализа. Together.ai · Оркестрация агентов Как слабые модели справляются с длинным контекстом Исследователи из Together AI предложили новый подход к обработке длинных текстов с помощью небольших языковых моделей. Они разработали фреймворк «Divide & Conquer», который разбивает длинные документы на параллельные части и обрабатывает их с помощью нескольких моделей. Hacker News · Инфраструктура для агентов Масштабируемый инференс LLM на базе Ray Serve и vLLM Компания Anyscale представила обновленный подход к развертыванию больших языковых моделей в распределенных средах. Решение базируется на интеграции фреймворка Ray Serve с высокопроизводительным движком vLLM, что позволяет эффективно управлять нагрузкой при работе с LLM в кластерах Kubernetes, включая Google Kubernetes Engine (GKE). Hacker News · Данные и инжиниринг Инструмент для сжатия логов в контекст для LLM Разработчики представили решение Rocketgraph, предназначенное для оптимизации работы с большими объемами логов при отладке систем с помощью языковых моделей. Инструмент автоматически анализирует миллиарды записей, выделяя ключевые паттерны и аномалии, и преобразует их в компактный «снимок» данных. Такой подход позволяет передавать в контекстное окно LLM только значимую информацию, сохраняя при этом общую картину состояния системы. Hacker News · Инференс и железо SubQ 1.1 Small: локальный запуск моделей с улучшенной производительностью Команда Subquadratic представила обновлённую версию SubQ 1.1 Small — фреймворка для локального запуска моделей. Новая версия предлагает улучшенную производительность и снижение требований к ресурсам, что делает её более доступной для использования на обычных ноутбуках и персональных компьютерах. Together.ai · Инференс и железо CPD-архитектура ускоряет работу LLM с длинными контекстами на 40% Together AI представила архитектуру Cache-aware prefill–decode disaggregation (CPD), которая ускоряет обработку длинных контекстов в LLM. Технология разделяет «тёплые» и «холодные» вычисления, что позволяет увеличить пропускную способность на 40% и сократить время до первого токена. Hacker News · Инфраструктура для агентов Автоматическая маршрутизация запросов для оптимизации стоимости и скорости LLM Компания Factory представила инструмент для автоматической маршрутизации запросов между различными языковыми моделями. Система в режиме реального времени анализирует входящие задачи и перенаправляет их на наиболее подходящую модель, исходя из заданных параметров стоимости и времени отклика. Такой подход позволяет компаниям снизить расходы на API, не жертвуя качеством ответов в критически важных сценариях. arXiv · Память и RAG ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. Hacker News · Инфраструктура для агентов Оптимизация контекста и кэширование в ИИ-системах Эффективная работа с контекстом остается ключевым фактором производительности при развертывании LLM. Основная задача заключается в минимизации избыточных вычислений при обработке длинных последовательностей, где значительная часть данных повторяется от запроса к запросу. Использование механизмов кэширования позволяет сохранять промежуточные состояния внимания (KV-кэш) для неизменяемых фрагментов промпта, что существенно снижает время отклика и затраты на инференс.

← Все материалы