arXiv · 05.08.2026 ·Обучение и дообучение

OctoLong: улучшение работы LLM с длинным контекстом через кросс-репозиторное обучение

Исследователи представили OctoLong — метод дообучения языковых моделей, направленный на повышение эффективности работы с длинными контекстами. В отличие от стандартных подходов, использующих разрозненные документы, OctoLong фокусируется на кросс-репозиторных связях в коде. Это позволяет моделям лучше улавливать зависимости в сложных программных проектах, что критически важно для разработки агентных систем и глубокого анализа кода.

Современные модели часто сталкиваются с дефицитом качественных данных для обучения длинному контексту, так как существующие корпуса перенасыщены книгами или статьями, где связи между удаленными фрагментами текста выражены слабо. Авторы OctoLong предлагают использовать структуру программных репозиториев, где логические зависимости между файлами и модулями создают естественную среду для тренировки способности модели удерживать контекст на больших дистанциях.

Метод демонстрирует, что качество данных для обучения «длинному окну» важнее, чем простое увеличение объема токенов. Использование связных программных контекстов позволяет моделям эффективнее справляться с задачами, требующими понимания архитектуры проекта целиком, а не только отдельных функций. Это приближает возможности LLM к решению задач, где необходимо учитывать взаимосвязи между множеством файлов в рамках одного рабочего процесса.

Ключевые факты

OctoLong фокусируется на обучении моделей через анализ кросс-репозиторных зависимостей в коде.
Метод направлен на решение проблемы нехватки качественных данных с длинными логическими связями в существующих корпусах.
Подход значительно улучшает способность моделей к in-context learning и работе в рамках сложных агентных сценариев.
Исследование подчеркивает преимущество структурированных данных (код) перед неструктурированными (книги) при масштабировании контекстного окна.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Метод ReContext повышает точность работы LLM с длинными контекстами Исследователи представили метод ReContext, решающий проблему неэффективного использования длинных контекстов в LLM. Несмотря на увеличение объема входных данных, модели часто игнорируют важные фрагменты информации. Новый подход использует рекурсивное воспроизведение доказательств (Recursive Evidence Replay), что позволяет моделям лучше извлекать и связывать разрозненные данные, значительно повышая качество логических выводов в задачах с большими массивами текста. Hacker News · Исследования и наука Исследование Lost in Context: как бороться с потерей информации в длинных контекстах LLM Исследователи представили работу «Lost in Context», посвященную проблеме «тревожности контекста» в больших языковых моделях. Авторы анализируют, почему при увеличении объема входных данных модели начинают игнорировать важную информацию, и предлагают методы повышения точности извлечения данных из длинных промптов. Работа фокусируется на оптимизации внимания моделей для предотвращения деградации ответов при работе с большими массивами текста. arXiv · Обучение и дообучение Randomized YaRN: новый метод улучшения работы LLM с длинными контекстами Исследователи представили метод Randomized YaRN, направленный на решение проблемы ограниченной длины контекста в больших языковых моделях. Большинство современных LLM проходят предварительное обучение на относительно коротких последовательностях, а затем адаптируются для работы с длинными текстами. Однако даже после дообучения такие модели часто демонстрируют снижение качества при обработке данных, значительно превышающих длину, использованную в процессе адаптации. Hacker News · Инфраструктура для агентов Velocity: метод линейного масштабирования контекста для существующих LLM без дообучения Исследователи представили Velocity — метод, позволяющий значительно расширить контекстное окно существующих больших языковых моделей без необходимости их дообучения. Технология обеспечивает линейное масштабирование вычислительных затрат при увеличении длины входных данных, что решает проблему квадратичной сложности стандартного механизма внимания (Attention) и открывает путь к эффективной обработке длинных документов на стандартном оборудовании. Hacker News · Исследования и наука Outside LLMs: анализ ограничений и альтернативных подходов в ИИ Проект Outside LLMs исследует пределы возможностей современных языковых моделей, анализируя задачи, где традиционные LLM показывают недостаточную эффективность. Авторы фокусируются на поиске альтернативных архитектурных решений и методов обработки данных, которые позволяют выйти за рамки стандартного предсказания следующего токена, предлагая более надежные подходы для сложных вычислительных и логических операций в реальных бизнес-сценариях. arXiv · Машинное обучение DenseOn и LateOn: открытые модели для поиска с длинным контекстом и поддержкой языков Исследователи представили DenseOn и LateOn — полностью открытые модели для семантического поиска, решающие проблему зависимости индустрии от закрытых данных. Авторы разработали комплексный пайплайн обучения, включающий 665 млн пар данных, и продемонстрировали эффективность переноса англоязычного обучения на многоязычные задачи, обеспечивая высокую точность в поиске по коду и длинным документам при полной воспроизводимости результатов. arXiv · Исследования и наука Новый метод анализа внимания LLM при работе с длинным контекстом Исследователи представили метод Logit-Contribution Scoring для идентификации «нелитеральных» голов внимания в LLM. В отличие от традиционных подходов, которые ищут прямое копирование токенов из контекста, новый метод выявляет механизмы синтеза смыслов. Это позволяет точнее интерпретировать, как модели формируют ответы на основе длинных документов, не полагаясь на простое цитирование фрагментов текста. arXiv · Машинное обучение UltraX: новый метод адаптивной очистки данных для обучения LLM Исследователи представили UltraX — фреймворк для масштабной автоматизированной очистки данных, решающий проблему исчерпания качественных обучающих корпусов. Метод использует адаптивное программное редактирование для фильтрации и улучшения текстов, что позволяет повысить эффективность обучения моделей без необходимости бесконечного расширения датасетов. Подход демонстрирует значительное превосходство над традиционными методами фильтрации при работе с огромными массивами данных. Hacker News · Модели и релизы SubQ: новая архитектура LLM для работы с длинным контекстом Разработчики представили SubQ — специализированную языковую модель, архитектура которой оптимизирована для обработки многомиллионных контекстных окон. В отличие от стандартных моделей, использующих квадратичную зависимость вычислительных затрат от длины входных данных, SubQ применяет сублинейные методы вычислений. Это позволяет значительно снизить потребление памяти и ускорить логические операции при анализе сверхдлинных документов, баз кода или массивов данных. arXiv · Память и RAG ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными.

← Все материалы