Новое исследование ставит под сомнение способность больших языковых моделей к истинному пониманию абстрактных концепций. Анализ показывает, что модели часто полагаются на статистические закономерности и заученные ассоциации, а не на построение внутренних логических моделей. Это означает, что при изменении контекста или условий задачи производительность систем может резко падать, несмотря на внешнюю убедительность ответов.

Авторы работы подчеркивают, что текущие методы обучения, основанные на предсказании следующего токена, способствуют развитию «поверхностного» интеллекта. Модели успешно справляются с задачами, если они представлены в знакомом формате, но демонстрируют неспособность к обобщению при столкновении с принципиально новыми структурами данных. Это создает риски при использовании ИИ в критически важных областях, где требуется глубокое понимание причинно-следственных связей.

Проблема заключается в том, что архитектура трансформеров оптимизирована для аппроксимации функций, а не для формирования онтологических представлений о мире. В результате ИИ может демонстрировать высокую точность на бенчмарках, которые содержат похожие примеры из обучающей выборки, но проваливаться в сценариях, требующих переноса знаний из одной предметной области в другую. Это ставит перед разработчиками вопрос о необходимости смены парадигмы обучения для достижения уровня рассуждений, сопоставимого с человеческим.

Ключевые факты

  • Исследование демонстрирует, что LLM склонны к «запоминанию» паттернов вместо формирования абстрактных понятий.
  • Производительность моделей значительно снижается при изменении формулировок, которые не меняют логическую суть задачи.
  • Статистическое обучение на больших массивах данных не гарантирует развитие способности к логическому выводу.
  • Результаты указывают на фундаментальные ограничения текущей архитектуры трансформеров в задачах на перенос знаний.