Новое исследование arXiv выявило критическую уязвимость современных больших языковых моделей: они склонны «забывать» или игнорировать исходные инструкции, если в процессе диалога пользователь меняет свои намерения. Модели часто фиксируются на ранних этапах контекста, что приводит к логическим ошибкам и снижению качества ответов при выполнении многошаговых задач с динамически меняющимися требованиями.
Авторы работы проанализировали поведение популярных LLM в сценариях, где пользователь последовательно уточняет или корректирует задачу. Выяснилось, что механизмы внимания моделей не всегда эффективно перераспределяют веса при поступлении противоречивых или обновленных данных. Это создает серьезные препятствия для использования ИИ в сложных агентных системах, где требуется высокая адаптивность и удержание фокуса на актуальной цели в долгосрочных сессиях.
Проблема особенно остро проявляется в задачах, требующих глубокого планирования и соблюдения ограничений, заданных в начале диалога. Когда пользователь вносит коррективы, модель может продолжать следовать устаревшим паттернам, игнорируя новые вводные. Это указывает на необходимость разработки новых методов обучения, направленных на улучшение динамического управления контекстом и более гибкую обработку обновляемой информации.
Ключевые факты
- Исследование сфокусировано на деградации точности LLM при эволюции пользовательских намерений в ходе диалога.
- Выявлена склонность моделей к «фиксации» на начальных инструкциях, что препятствует адаптации к новым условиям.
- Проблема критична для многошаговых агентных процессов, требующих постоянного обновления контекста.
- Авторы подчеркивают недостаточность текущих механизмов внимания для эффективного переключения между противоречивыми целями.
- Результаты указывают на необходимость внедрения новых архитектурных подходов для улучшения динамического управления контекстом.