Исследование процесса взаимодействия с Claude в рамках 241-шаговой сессии программирования выявило критические проблемы в удержании контекста и следовании инструкциям. Автор проанализировал, как агент постепенно теряет фокус, игнорирует ранние установки и начинает совершать ошибки в коде. Работа демонстрирует пределы возможностей современных LLM при выполнении сложных, многоэтапных задач разработки в реальных условиях.
В ходе эксперимента выяснилось, что по мере увеличения длины диалога модель начинает «забывать» архитектурные ограничения, заданные в начале сессии. Это приводит к тому, что агент предлагает решения, противоречащие первоначальному техническому заданию, или начинает циклиться на неверных исправлениях. Проблема усугубляется накоплением ошибок в истории чата, которые модель воспринимает как корректные паттерны для дальнейшей генерации.
Автор подчеркивает, что даже при использовании продвинутых моделей, таких как Claude 3.5 Sonnet, автоматизация разработки требует жесткого контроля со стороны человека. Без промежуточных проверок и принудительной очистки контекста качество кода деградирует пропорционально количеству итераций. Это ставит под сомнение надежность полностью автономных агентных систем в долгосрочных проектах без внедрения внешних механизмов верификации.
Ключевые факты
- Анализ базируется на сессии из 241 итерации, направленной на решение конкретной задачи по написанию кода.
- Основная проблема заключается в «дрейфе» модели, при котором она игнорирует исходные системные инструкции после определенного порога диалога.
- Выявлено накопление логических ошибок, вызванное тем, что модель начинает опираться на свои же неверные ответы из предыдущих шагов.
- Исследование подтверждает необходимость внедрения инструментов для управления состоянием и проверки кода в реальном времени при работе с агентными системами.