Hacker News · 02.08.2026 ·Инфраструктура для агентов

Velocity: метод линейного масштабирования контекста для существующих LLM без дообучения

Исследователи представили Velocity — метод, позволяющий значительно расширить контекстное окно существующих больших языковых моделей без необходимости их дообучения. Технология обеспечивает линейное масштабирование вычислительных затрат при увеличении длины входных данных, что решает проблему квадратичной сложности стандартного механизма внимания (Attention) и открывает путь к эффективной обработке длинных документов на стандартном оборудовании.

Основная проблема современных трансформеров заключается в том, что потребление памяти и вычислительная мощность растут пропорционально квадрату длины контекста. Velocity обходит это ограничение, используя специализированные алгоритмы обработки последовательностей, которые сохраняют точность модели при работе с длинными промптами. Это позволяет разработчикам внедрять поддержку больших объемов данных в уже готовые архитектуры, не тратя ресурсы на дорогостоящий процесс переобучения весов.

Данный подход критически важен для создания агентных систем, требующих удержания в памяти больших массивов документации или истории диалогов. Благодаря линейному масштабированию, системы на базе LLM могут анализировать целые базы знаний или длинные логи выполнения задач, оставаясь при этом в рамках доступных аппаратных мощностей и сохраняя высокую скорость отклика.

Ключевые факты

Velocity позволяет масштабировать контекстное окно LLM без изменения параметров модели (zero-retraining).
Метод переводит вычислительную сложность механизма внимания из квадратичной в линейную зависимость от длины контекста.
Технология ориентирована на интеграцию с существующими предобученными моделями для повышения их эффективности в задачах с длинным вводом.
Решение направлено на снижение барьера входа для работы с большими контекстами, требующими ранее значительных вычислительных ресурсов.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Ускорение LLM через разреженное внимание и конечные автоматы Исследователи представили новый метод ускорения работы больших языковых моделей, основанный на использовании разреженного внимания (Sparse Attention) в сочетании с архитектурой конечных автоматов с постоянным состоянием. Этот подход позволяет значительно сократить вычислительные затраты при инференсе, сохраняя при этом точность генерации текста, что критически важно для развертывания тяжелых моделей на ограниченных аппаратных ресурсах. Hacker News · Исследования и наука Анализ избыточности: сколько раз LLM перечитывают один и тот же текст Исследование процесса обработки контекста в больших языковых моделях выявило значительные потери вычислительных ресурсов из-за многократного повторного чтения одних и тех же фрагментов текста. Автор эксперимента замерил количество обращений к токенам при выполнении стандартных задач и обнаружил, что текущие архитектуры тратят избыточное время на переобработку уже известных данных, что напрямую влияет на задержки и стоимость инференса. Hacker News · Инференс и железо Метод управления LLM без использования Autograd и видеопамяти Исследователи представили новый подход к управлению поведением больших языковых моделей, исключающий необходимость использования Autograd и потребление видеопамяти (VRAM). Метод основан на концепции «непрерывного волнового поля», позволяющей направлять генерацию текста через альтернативные вычислительные пути. Это решение значительно снижает аппаратные требования при тонкой настройке или управлении логикой моделей в условиях ограниченных ресурсов. arXiv · Исследования и наука Метод ReContext повышает точность работы LLM с длинными контекстами Исследователи представили метод ReContext, решающий проблему неэффективного использования длинных контекстов в LLM. Несмотря на увеличение объема входных данных, модели часто игнорируют важные фрагменты информации. Новый подход использует рекурсивное воспроизведение доказательств (Recursive Evidence Replay), что позволяет моделям лучше извлекать и связывать разрозненные данные, значительно повышая качество логических выводов в задачах с большими массивами текста. Hacker News · Исследования и наука Исследование Lost in Context: как бороться с потерей информации в длинных контекстах LLM Исследователи представили работу «Lost in Context», посвященную проблеме «тревожности контекста» в больших языковых моделях. Авторы анализируют, почему при увеличении объема входных данных модели начинают игнорировать важную информацию, и предлагают методы повышения точности извлечения данных из длинных промптов. Работа фокусируется на оптимизации внимания моделей для предотвращения деградации ответов при работе с большими массивами текста. Hacker News · Модели и релизы SubQ: новая архитектура LLM для работы с длинным контекстом Разработчики представили SubQ — специализированную языковую модель, архитектура которой оптимизирована для обработки многомиллионных контекстных окон. В отличие от стандартных моделей, использующих квадратичную зависимость вычислительных затрат от длины входных данных, SubQ применяет сублинейные методы вычислений. Это позволяет значительно снизить потребление памяти и ускорить логические операции при анализе сверхдлинных документов, баз кода или массивов данных. Hacker News · Память и RAG Почему бесконечное контекстное окно — не панацея для работы с данными Разработчики всё чаще отказываются от идеи бесконечного расширения контекстного окна LLM в пользу архитектур с внешним управлением памятью. Вместо того чтобы загружать огромные массивы данных напрямую в модель, эффективнее использовать специализированные системы поиска и извлечения информации. Это позволяет снизить затраты на инференс, повысить точность ответов и избежать проблем с «забыванием» данных при длинных контекстах. Hacker News · Исследования и наука Tapered Language Models: новый подход к оптимизации архитектуры LLM Исследователи представили концепцию Tapered Language Models — архитектурный подход, при котором ширина слоев нейросети постепенно уменьшается по мере углубления модели. Такой метод позволяет значительно снизить вычислительные затраты на инференс и объем используемой памяти, сохраняя при этом производительность, сопоставимую с традиционными трансформерами фиксированной ширины, что критически важно для эффективного развертывания моделей. Hacker News · Исследования и наука Исследование: ограничения механизма внимания в современных LLM Ученые проанализировали эффективность архитектуры трансформеров при выполнении задач, требующих длительной концентрации на контексте. В ходе экспериментов выяснилось, что даже самые продвинутые языковые модели демонстрируют снижение точности при обработке длинных последовательностей, если ключевая информация распределена неравномерно или скрыта в середине текста. Этот феномен, известный как «проблема потерянного в середине» (lost in the middle), ставит под вопрос надежность механизмов внимания при работе с большими объемами данных. Hacker News · Исследования и наука Как работают LLM: детальный разбор архитектуры и обучения Статья Арпита Бхаяни представляет собой глубокое техническое погружение в устройство больших языковых моделей. Автор последовательно объясняет процесс трансформации текста в векторные представления, работу механизма внимания (Attention) и принципы предсказания следующего токена. Материал охватывает ключевые этапы жизненного цикла модели: от предварительного обучения на огромных массивах данных до тонкой настройки под конкретные задачи.

← Все материалы