arXiv · 15.06.2026 ·Оптимизация работы с моделями кода

Как улучшить точность небольших моделей кода без переобучения

Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода.

Основное внимание уделено двум операторам, работающим на уровне выражения, а не семантического пространства. Первый оператор (M1) позволяет восстанавливать правильные программы, которые стандартные экстракторы отбрасывают. Этот метод не только не ухудшает качество (b10=0), но и полностью исключает утечку данных. Второй оператор помогает выравнивать сигнатуры тестов с публичными тестами, что также улучшает точность.

В результате применения этих операторов модель DeepSeek-Coder-1.3B показала улучшение на 12 задачах в наборе HumanEval+ (p=2.4e-4). Это значительный результат, учитывая, что модель не подвергалась дополнительному обучению. Подход может быть полезен для разработчиков ИИ-агентов, работающих с кодом, так как позволяет повысить точность без сложных и ресурсоемких процессов переобучения.

Авторы подчеркивают, что предложенные методы не только эффективны, но и безопасны, так как не требуют доступа к исходным данным. Это делает их особенно привлекательными для практического применения в различных сценариях, включая разработку ИИ-агентов, которые генерируют и оптимизируют код.

Источник: arXiv

Похожие материалы

arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. AI | VentureBeat · Модели для программирования NousCoder-14B: открытая модель для кодинга от Nous Research Nous Research, стартап в области открытого ИИ, поддержанный венчурной фирмой Paradigm, представил новую модель для программирования NousCoder-14B. Модель была обучена всего за четыре дня на 48 графических процессорах Nvidia B200 и демонстрирует конкурентоспособные результаты с более крупными проприетарными системами. arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Оптимизация декодирования в ИИ-агентах Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. The latest research from Google · Оптимизация моделей для ИИ-агентов Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. NVIDIA Technical Blog · Оптимизация MoE-моделей Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. Hacker News · Оптимизация ИИ-агентов Как избежать локальных минимумов в обучении ИИ-агентов В обсуждении на Hacker News пользователи делятся опытом и стратегиями, как избежать или выйти из локальных минимумов при обучении больших языковых моделей (LLM). Локальные минимумы — это ситуации, когда модель перестаёт улучшаться, застревая в неоптимальных решениях. Это особенно актуально для разработчиков ИИ-агентов, где качество модели напрямую влияет на эффективность агентов. Hugging Face - Blog · Контекст и агенты DeepSeek-V4: миллион токенов для ИИ-агентов Команда DeepSeek представила новую версию своей модели DeepSeek-V4, которая поддерживает контекст длиной в миллион токенов. Это значительный шаг вперёд для разработчиков ИИ-агентов, так как возможность работы с таким объёмом информации открывает новые горизонты для создания более сложных и автономных систем. OpenAI News · ИИ-агенты и автоматизация кода Как Braintrust использует Codex и GPT-5.5 для автоматизации разработки Компания Braintrust, специализирующаяся на разработке программного обеспечения, делится своим опытом использования моделей Codex и GPT-5.5 для автоматизации процессов кодирования. Инженеры Braintrust применяют эти модели для быстрого выполнения экспериментов и ускорения разработки кода. Это позволяет значительно сократить время, затрачиваемое на рутинные задачи, и сосредоточиться на более сложных и творческих аспектах разработки.

← Все материалы