Исследователи представили работу «LLMs Can't Jump», анализирующую ограничения современных языковых моделей в задачах, требующих последовательного логического вывода. Авторы доказывают, что даже продвинутые архитектуры часто терпят неудачу при необходимости совершить «прыжок» — переход между логическими этапами, где требуется не просто предсказание следующего токена, а глубокое понимание структуры задачи и промежуточных состояний.
В основе работы лежит гипотеза о том, что стандартный механизм авторегрессионного предсказания не позволяет моделям эффективно планировать действия на несколько шагов вперед. В отличие от систем, использующих поиск по дереву или явную декомпозицию задач, обычные LLM склонны к накоплению ошибок при выполнении длинных цепочек рассуждений. Это делает их уязвимыми в сценариях, где малейшее отклонение на раннем этапе ведет к неверному итоговому результату.
Авторы предлагают новые метрики для оценки способности моделей к «прыжкам» — критическим точкам принятия решений, которые определяют успех выполнения всей цепочки рассуждений. Исследование подчеркивает разрыв между способностью моделей генерировать связный текст и их реальной эффективностью в задачах, требующих строгой логической последовательности и верификации промежуточных выводов.
Ключевые факты
- Работа опубликована на платформе OpenReview в рамках профильных вызовов по оценке способностей LLM.
- Основной фокус исследования направлен на анализ «логических прыжков» — критических этапов, где модель должна переключаться между различными типами рассуждений.
- Выявлено, что текущие методы обучения не обеспечивают устойчивость моделей к ошибкам при выполнении многоэтапных задач.
- Предложены новые бенчмарки для измерения точности моделей в задачах, требующих планирования, а не просто генерации контента.