Исследователи поставили под сомнение фундаментальную теорию сюрпризала (Surprisal Theory), связывающую сложность восприятия языка с предсказуемостью слов в контексте. Работа доказывает, что при отсутствии дополнительных ограничений утверждение о линейной зависимости между когнитивной нагрузкой и вероятностью слова становится математической тавтологией, лишенной эмпирической предсказательной силы.
Согласно классической теории, трудность обработки лингвистической единицы человеком прямо пропорциональна её «сюрпризалу» (неожиданности) в рамках языковой модели. Однако авторы статьи демонстрируют, что для любой произвольной меры сложности можно подобрать такую языковую модель, которая будет описывать эту сложность как аффинную функцию. Это делает теорию математически тривиальной, если не накладывать строгие ограничения на выбор модели и метрики.
Результаты работы указывают на необходимость пересмотра методологии оценки когнитивных моделей через языковые модели. Без четких критериев выбора архитектуры и параметров обучения, корреляция между предсказаниями нейросетей и человеческим восприятием может быть случайным следствием гибкости самих моделей, а не отражением реальных механизмов обработки информации в мозге.
Ключевые факты
- Теория сюрпризала утверждает, что сложность обработки текста человеком является аффинной функцией от вероятности слова в модели.
- Доказано, что при минимальных технических условиях для любой меры сложности существует языковая модель, подтверждающая эту зависимость.
- Работа подчеркивает отсутствие «рационального обоснования» (rational grounding) в текущих формулировках теории.
- Исследование ставит под вопрос валидность использования LLM как прямых аналогов когнитивных процессов без дополнительных ограничений.