arXiv · 16.06.2026 ·Исследования и наука

Исследование: тесты в коде от ИИ-агентов часто бессмысленны

Исследователи изучили качество тестов, генерируемых ИИ-агентами в открытых репозиториях. Оказалось, что более 932 000 пулл-реквестов с кодом от ИИ содержат тесты без проверочной логики. Это значит, что тесты просто запускают код, но не проверяют его корректность.

Авторы работы проанализировали более 116 000 репозиториев. Они обнаружили, что многие тесты, созданные ИИ, не содержат явных утверждений (assertions). Такие тесты не выполняют свою основную функцию — проверку работоспособности кода.

Исследование показывает, что тесты от ИИ-агентов часто оказываются «пустышками». Это может снижать качество программного обеспечения, если разработчики не проверяют сгенерированный код вручную.

Результаты работы подчёркивают необходимость более строгого контроля за кодом, создаваемым ИИ. Исследователи предлагают улучшать алгоритмы генерации тестов, чтобы они включали проверочную логику.

Источник: arXiv

Похожие материалы

arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. Hacker News · Разработка и инструменты PR с участием ИИ-агентов проверяют в 5 раз дольше Исследование Codacy показало, что пулл-реквесты (PR), в которых участвовали ИИ-агенты, находятся в очереди на ревью в среднем на 5.3 раза дольше, чем те, что создавались без помощи ИИ. Это существенный сдвиг, который может повлиять на стратегии внедрения агентов в разработку. Hacker News · Оценка и бенчмарки Как оценивать ИИ-агентов: полный цикл тестирования Разработка ИИ-агентов требует не только создания функциональных модулей, но и их тщательного тестирования. В статье Peter Baumgartner подробно рассматривается подход к end-to-end оценке агентов, который включает в себя тестирование на всех этапах их работы — от ввода данных до выполнения задач и генерации результатов. Автор подчеркивает важность комплексного подхода, который позволяет выявить слабые места и улучшить общую производительность агентов. Hacker News · Исследования и наука Исследование: экспертиза в программировании сохраняется даже при использовании ИИ-агентов Исследователи из Anthropic провели эксперимент, чтобы оценить, как ИИ-агенты влияют на экспертизу в программировании. Участники с разным уровнем навыков использовали ИИ-агента для решения задач по кодингу. Результаты показали, что даже при помощи ИИ опытные разработчики демонстрировали лучшие результаты, чем новички. Hacker News · Безопасность и алайнмент Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. arXiv · Исследования и наука Исследование скрытых ошибок в работе ИИ-агентов Исследователи из Arxiv представили longitudinal study о скрытых ошибках в работе ИИ-агентов, которые работают как долгосрочные автономные системы. В исследовании анализируется система личного ассистента, работающая с марта 2026 года. Система включает в себя около 40 запланированных задач, 8 поставщиков LLM, инструментальный прокси и базу знаний. Hacker News · Исследования и наука Как разработчики работают с ИИ-инструментами Компания Cursor опубликовала отчёт о привычках разработчиков, который включает данные о том, как программисты используют ИИ-инструменты в своей повседневной работе. Исследование охватило более 1000 разработчиков из разных стран и компаний, что делает его одним из самых масштабных в своей области. Microsoft Research · Инфраструктура для агентов Исследование Microsoft о надёжности ИИ в делегированных задачах Microsoft опубликовал уточнения к своему исследованию «LLMs Corrupt Your Documents When You Delegate», которое вызвал широкий резонанс в сообществе разработчиков ИИ. В работе рассматриваются проблемы надёжности ИИ-систем при делегировании задач, особенно в долгосрочных сценариях. Исследователи подчеркнули, что их цель — не просто выявить проблемы, но и разработать методы оценки, которые помогут создать более устойчивые системы. Hacker News · Память и RAG Почему агентные циклы не решают проблему лживых агентов В статье на tsdevstack.dev рассматривается проблема лживых агентов и почему агентные циклы не являются решением этой проблемы. Автор подчёркивает, что агентные циклы, которые предполагают многократное выполнение задач с целью улучшения результатов, не могут гарантировать достоверность информации. Это особенно важно для разработчиков ИИ-агентов, так как ложные данные могут привести к серьёзным ошибкам в работе системы. Hacker News · Рынок труда и экономика Скрытая человеческая работа за ИИ-ассистентами Исследование Work AI Institute от Glean раскрывает, насколько сильно ИИ-ассистенты зависят от скрытого человеческого труда. Авторы вводят термины «ботситтинг» (бот-сидение) и «ботшиттинг» (бот-дерьмо), чтобы описать, как сотрудники вынуждены исправлять ошибки ИИ и контролировать его работу. Это создаёт новую категорию рабочих обязанностей, которая не учитывается в официальных описаниях должностей.

← Все материалы