arXiv · 03.07.2026 ·Машинное обучение

Метод Anchored Self-Play для автоматического исправления программного кода

Исследователи представили метод Anchored Self-Play, направленный на повышение эффективности языковых моделей в исправлении программных ошибок. Подход использует обучение с подкреплением, где одна модель попеременно выступает в роли генератора багов и исправляющего агента. Это позволяет масштабировать процесс обучения на синтетических данных, преодолевая нехватку размеченных наборов для отладки кода.

Традиционные методы обучения моделей для написания кода часто ограничены объемом доступных пар «ошибка — исправление». Новый подход решает эту проблему через создание самообучающейся петли: модель учится генерировать сложные баги, которые затем сама же должна исправить, опираясь на результаты прохождения модульных тестов. Использование «якорей» (anchors) в процессе генерации помогает контролировать сложность создаваемых задач, обеспечивая стабильный прогресс обучения.

Техника позволяет модели лучше понимать логические взаимосвязи внутри кода и повышает точность прохождения тестов без необходимости в больших объемах человеческой разметки. Этот метод демонстрирует перспективность использования синтетических данных, созданных самими моделями, для улучшения специализированных навыков программирования в условиях ограниченных ресурсов.

Ключевые факты

Метод основан на схеме «генератор-исправитель» (generator-fixer self-play) с использованием обучения с подкреплением.
Основная цель — масштабирование процесса обучения моделей для исправления кода при нехватке реальных данных.
Модель обучается генерировать баги, которые должны успешно проходить проверку через заданные модульные тесты.
Подход позволяет повысить качество генерации исправлений за счет итеративного взаимодействия модели с самой собой в рамках контролируемой среды.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оркестрация агентов Концепция самообучающегося агента на базе моделей мира для написания кода Исследователи представили концепцию агента, способного к самосовершенствованию через построение «модели мира» для генерации и отладки кода. Система использует итеративный цикл, в котором агент не просто пишет программы, но и предсказывает результаты их выполнения, корректируя свои внутренние алгоритмы на основе полученной обратной связи, что позволяет повысить точность решения сложных инженерных задач без участия человека. Hacker News · Безопасность и алайнмент AST-guard: защита от взлома функций вознаграждения в обучении с подкреплением AST-guard — это новый инструмент для защиты моделей обучения с подкреплением (RL) от манипуляций с функциями вознаграждения (reward hacking). Решение анализирует абстрактное синтаксическое дерево (AST) кода, который генерирует агент, предотвращая выполнение небезопасных или нецелевых действий. Метод устойчив к градиентным атакам, что делает его эффективным инструментом для обеспечения безопасности агентных систем. arXiv · Машинное обучение Новый метод борьбы с ошибками накопления в генеративных моделях Flow Matching Исследователи представили метод коррекции ошибки экспозиции (exposure bias) в моделях Flow Matching, использующий внутренние динамические сигналы самой модели. Вместо применения внешних эвристик или статических ограничений, предложенный подход анализирует частотные и направленные характеристики отклонений в процессе генерации, что позволяет модели самостоятельно корректировать траектории обучения и повышать качество синтеза данных. arXiv · Исследования и наука Исследование причин ошибок генерализации в современных LLM Исследователи проанализировали проблему ошибок генерализации в больших языковых моделях, возникающих из-за разрыва между обучающими выборками и реальными условиями эксплуатации. Авторы предлагают использовать метод смешивания условных политик (Mixtures of Conditional Policies) для создания контролируемых демонстраций, позволяющих систематически выявлять и изучать сбои моделей в упрощенных, но репрезентативных сценариях, что критически важно для повышения надежности ИИ-систем. Hacker News · Разработка и инструменты Методика верификации кода для ИИ-агентов Для повышения качества генерации кода в агентных системах предлагается внедрение обязательного этапа самопроверки. Вместо того чтобы полагаться исключительно на первичный результат работы большой языковой модели, разработчикам рекомендуется интегрировать в пайплайн дополнительные шаги верификации. Суть подхода заключается в принудительном выполнении сгенерированного кода в изолированной среде и последующем анализе ошибок с помощью самой модели. arXiv · Машинное обучение Weave of Formal Thought: новый подход к генерации синтаксически корректного кода Исследователи представили метод Weave of Formal Thought, решающий проблему синтаксической неточности LLM при генерации кода. В отличие от существующих систем ограниченного декодирования, новый подход учитывает иерархическую структуру языков программирования и контекстно-зависимые лексические механизмы. Это позволяет моделям создавать программный код, который не только выглядит корректно, но и гарантированно соответствует строгим правилам синтаксиса целевого языка. arXiv · Безопасность и алайнмент Inoculation Adapters: новый метод предотвращения нежелательного поведения LLM Исследователи представили метод Inoculation Adapters (IA) — технику дообучения через LoRA, направленную на борьбу с эмерджентным нежелательным поведением моделей. Метод позволяет избирательно подавлять опасные способности ИИ, укрепляя «иммунитет» модели к нежелательным чертам еще на этапе обучения, что снижает риск появления скрытых бэкдоров и непредсказуемых реакций при масштабировании систем. arXiv · Оценка и бенчмарки Новый бенчмарк Adversarial Pragmatics для оценки безопасности LLM Исследователи представили бенчмарк Adversarial Pragmatics, предназначенный для глубокого анализа безопасности языковых моделей. В отличие от традиционных тестов, которые сводят результаты к бинарным оценкам «прошел/не прошел», этот инструмент фокусируется на сложных лингвистических сценариях: конфликтах инструкций, скрытых командах и двусмысленности политик безопасности. Это позволяет точнее выявлять причины сбоев в поведении моделей при выполнении агентных задач. arXiv · Обучение и дообучение Метод Neuron-Aware для самообучения LLM без участия человека Исследователи представили метод Neuron-Aware Data Selection, позволяющий дообучать большие языковые модели без использования человеческой разметки или внешних экспертных данных. Технология опирается на самодистилляцию, где модель использует собственные выходы в качестве обучающих сигналов. Подход фокусируется на отборе наиболее информативных данных через анализ активации нейронов, что значительно повышает качество генерации в специализированных областях при отсутствии дорогостоящих аннотаций. arXiv · Обучение и дообучение AutoTrainess: автономная система для самообучения языковых моделей Исследователи представили AutoTrainess — фреймворк для автоматизации процесса дообучения языковых моделей без участия человека. Система позволяет ИИ-агентам самостоятельно планировать итерации обучения, генерировать качественные наборы данных, проводить тренировочные запуски и оценивать результаты. Это решение направлено на преодоление трудоемкости текущих процессов пост-тренинга, превращая цикл улучшения моделей в автономный инженерный пайплайн.

← Все материалы