Исследователи проанализировали логи использования GitHub Copilot в реальной среде разработки, чтобы понять, как именно программисты взаимодействуют с ИИ-ассистентом. Работа раскрывает паттерны принятия предложений, частоту правок и влияние инструментов автодополнения на процесс написания кода. Полученные данные позволяют оценить реальную эффективность агентных систем в задачах промышленной разработки ПО.
В ходе исследования авторы изучили тысячи сессий взаимодействия, классифицируя действия разработчиков при работе с генеративными подсказками. Выяснилось, что пользователи склонны доверять модели в рутинных задачах, однако при написании сложной логики количество правок и отказов от предложений существенно возрастает. Это подчеркивает разрыв между теоретическими возможностями моделей и их практической применимостью в долгосрочных проектах.
Результаты работы дают представление о том, как меняется когнитивная нагрузка на инженеров при использовании ИИ. Анализ показывает, что успех внедрения подобных инструментов зависит не только от качества самой модели, но и от того, насколько органично она вписывается в рабочий цикл, минимизируя необходимость переключения контекста между написанием кода и его верификацией.
Ключевые факты
- Исследование базируется на анализе трассировок использования GitHub Copilot в производственных условиях.
- Выявлена корреляция между сложностью задачи и частотой отклонения предложенных ИИ фрагментов кода.
- Установлено, что разработчики чаще принимают короткие предложения, тогда как длинные блоки кода требуют значительной ручной доработки.
- Работа подчеркивает необходимость улучшения механизмов обратной связи между IDE и языковыми моделями для повышения продуктивности.