Исследование: почему LLM лучше справляются с оценкой кода, чем с обратной связью

Авторы исследования проанализировали эффективность LLM при проверке заданий по объектно-ориентированному программированию. Выяснилось, что модели демонстрируют высокую точность при выставлении оценок, однако часто допускают ошибки при формировании качественной обратной связи. Разрыв между способностью к объективному оцениванию и предоставлением полезных рекомендаций для обучения студентов остается существенным барьером для автоматизации образовательных процессов.

В работе сравниваются подходы к автоматизированной проверке кода, где LLM выступают в роли ассистентов преподавателя. Если формальные критерии, такие как прохождение тестов или соответствие синтаксису, модели обрабатывают с высокой степенью надежности, то содержательный фидбек часто страдает от галлюцинаций или поверхностных советов. Это создает риск для учебного процесса, так как студенты получают формально верную оценку, но не всегда понимают причины допущенных логических ошибок.

Исследователи подчеркивают, что использование LLM в образовании требует гибридного подхода. Автоматизация оценки может значительно снизить нагрузку на преподавателей, но генерация развернутых пояснений к коду требует более строгих методов верификации и контроля качества. Результаты работы указывают на необходимость разработки специализированных промпт-стратегий, ориентированных именно на педагогическую эффективность, а не только на точность классификации ответов.

Ключевые факты

• Исследование сфокусировано на оценке заданий по объектно-ориентированному программированию (ООП).
• Выявлен значительный разрыв в производительности моделей между задачами количественной оценки и качественного разбора кода.
• Основная проблема обратной связи заключается в неспособности моделей consistently выявлять глубокие логические ошибки в структуре классов.
• Работа предлагает методологию оценки LLM, которая разделяет техническую корректность и педагогическую ценность комментариев.
• Результаты подчеркивают ограничения текущих моделей при использовании в качестве полноценных тьюторов в программировании.