arXiv · 04.08.2026 ·Машинное обучение

LLM в оптимизации компиляторов: исследование SeGaBench

Исследователи представили SeGaBench — бенчмарк для оценки способности больших языковых моделей восстанавливать семантику программ, упущенную стандартными компиляторами C/C++. Модели анализируют гетерогенный контекст кода, чтобы находить возможности для оптимизации, которые недоступны классическим алгоритмам из-за отсутствия необходимых семантических данных в промежуточном представлении программы. Результаты показывают потенциал ИИ в автоматизации низкоуровневой оптимизации кода.

Современные компиляторы опираются на строгие правила анализа потока данных, которые часто не учитывают высокоуровневые намерения разработчика или контекст, скрытый в сложных структурах кода. LLM, обладая способностью к интерпретации семантического контекста, могут выявлять паттерны, которые позволяют применять агрессивные трансформации кода без нарушения его логики и контрактов.

Использование ИИ в этой области направлено на создание «валидируемых артефактов», где модель предлагает оптимизацию, а компилятор или специализированный верификатор подтверждает её корректность. Это позволяет преодолеть ограничения статических анализаторов, которые часто вынуждены отказываться от потенциально эффективных преобразований из-за консервативных оценок безопасности.

Ключевые факты

SeGaBench включает 100 синтетических тестов и 20 примеров, основанных на реальном исходном коде.
Основная цель — восстановление семантики, которую пропускают стандартные оптимизирующие компиляторы.
Исследование сфокусировано на языках программирования C и C++.
Метод предполагает генерацию оптимизаций, сохраняющих исходные контракты и семантическую корректность программы.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки SlopCodeBench: новый стандарт для оценки качества генерации кода Представлен SlopCodeBench — специализированный бенчмарк для оценки способности LLM генерировать качественный и пригодный к использованию программный код. В отличие от классических тестов, ориентированных на прохождение тестов, этот инструмент фокусируется на выявлении «мусорного» кода (slop), который выглядит корректным синтаксически, но неэффективен или избыточен в реальных задачах разработки. Hacker News · Машинное обучение Оптимизация LLM для ускорения генерации программного кода Исследователи представили методы оптимизации языковых моделей, направленные на повышение скорости генерации программного кода. Основная проблема при работе с кодом заключается в высокой вычислительной сложности инференса, так как структура синтаксиса требует точного предсказания длинных последовательностей токенов. Авторы работы анализируют влияние различных архитектурных решений на задержку (latency) и пропускную способность при выполнении задач программирования. Hacker News · Машинное обучение Исследование ошибок во фронтендах компиляторов глубокого обучения с помощью LLM Исследователи проанализировали природу программных дефектов во фронтендах компиляторов для глубокого обучения, используя возможности больших языковых моделей для классификации и анализа багов. Работа выявляет закономерности возникновения ошибок в таких критических компонентах, как графовые оптимизаторы и конвертеры промежуточных представлений, предлагая новые подходы к повышению надежности инфраструктуры машинного обучения через автоматизированную диагностику и типизацию проблем. arXiv · Оценка и бенчмарки SCHEDBench: новый бенчмарк для проверки точности LLM в задачах планирования Исследователи представили SCHEDBench — специализированный бенчмарк для оценки способности больших языковых моделей соблюдать строгие логические ограничения в комбинаторных задачах планирования. Инструмент проверяет, насколько точно модели придерживаются заданных условий при изменении формулировок запросов, сравнивая результаты генерации с эталонными решениями, полученными с помощью классических алгоритмических солверов. Hacker News · Оценка и бенчмарки Анализ эффективности LLM в задачах программирования и проблемы существующих бенчмарков Дэн Лу опубликовал глубокий разбор применимости современных LLM в реальной разработке ПО. Автор критикует текущие бенчмарки за оторванность от реальных рабочих процессов, указывая, что высокие показатели в тестах не гарантируют продуктивности инженера. Исследование подчеркивает необходимость перехода от простых задач к оценке агентных систем, способных поддерживать контекст и исправлять ошибки в сложных кодовых базах. Hacker News · Оценка и бенчмарки Microsoft представила BenchPress для прогнозирования результатов LLM на бенчмарках Microsoft выпустила инструмент BenchPress, позволяющий предсказывать производительность больших языковых моделей на различных бенчмарках без необходимости их полного тестирования. Система использует мета-обучение для оценки способностей модели на основе ограниченного набора данных, что значительно сокращает вычислительные затраты и время, требуемое для оценки новых архитектур и версий моделей в процессе их разработки. Hacker News · ИИ в бизнесе Исследование: автоматическая миграция кода с COBOL на Java с помощью LLM Исследователи проанализировали эффективность использования больших языковых моделей для автоматического перевода устаревшего кода на COBOL в современный Java. Эксперимент показал, что ИИ способен успешно выполнять структурную миграцию бизнес-логики, однако процесс сопровождается появлением специфических программных ошибок, требующих обязательной верификации и ручного исправления кода для обеспечения корректной работы систем в промышленной эксплуатации. Hacker News · Оценка и бенчмарки Бенчмаркинг Claude 3.5 Opus на задачах по исправлению кода Исследователи протестировали модель Claude 3.5 Opus с помощью SlopCodeBench — специализированного набора данных, оценивающего способность ИИ-агентов работать с низкокачественным или запутанным кодом. Результаты показывают, как текущие флагманские модели справляются с реальными задачами рефакторинга и отладки, где требуется глубокое понимание контекста и исправление ошибок, которые часто встречаются в корпоративных кодовых базах. Hacker News · Машинное обучение ParallelKernelBench: оценка способности LLM писать эффективные GPU-ядра Команда Together AI представила ParallelKernelBench — специализированный бенчмарк для оценки навыков больших языковых моделей в написании высокопроизводительного кода для параллельных вычислений на GPU. Исследование фокусируется на способности ИИ генерировать оптимизированные CUDA-ядра, что критически важно для ускорения обучения и инференса нейросетей, требующих эффективного распределения нагрузки между несколькими графическими процессорами. Hacker News · Оценка и бенчмарки SlopCodeBench: как ИИ-агенты теряют эффективность в длинных задачах Исследователи представили SlopCodeBench — новый бенчмарк для оценки деградации ИИ-агентов при выполнении многоэтапных задач по написанию кода. Тестирование показывает, что даже передовые модели склонны к накоплению ошибок и снижению качества решений по мере увеличения количества итераций, что критически важно для автоматизации сложных процессов разработки ПО.

← Все материалы