Исследователь Google DeepMind Том Захави в своей работе «LLMs can't jump» утверждает, что современные языковые модели не способны провоцировать научные революции. Основная причина заключается в отсутствии у них когнитивных механизмов для создания принципиально новых знаний. Автор предполагает, что для совершения прорывных открытий ИИ должен перейти от обработки текста к построению полноценных моделей мира.

Текущие архитектуры LLM опираются на статистические закономерности в данных, что позволяет им эффективно синтезировать существующую информацию, но не генерировать новые концепции, выходящие за рамки обучающей выборки. Для научного прогресса требуется способность к абстрактному мышлению, планированию и проверке гипотез в динамической среде, чего лишены модели, ограниченные предсказанием следующего токена.

Переход к «моделям мира» (world models) рассматривается как необходимое условие для преодоления этого барьера. Такие системы должны обладать внутренним представлением физических и логических законов реальности, что позволит им не просто имитировать человеческий язык, а проводить эксперименты и выстраивать причинно-следственные связи, необходимые для фундаментальных научных инноваций.

Ключевые факты

  • Автор исследования — Том Захави, эксперт Google DeepMind.
  • Основной тезис работы опубликован в статье под названием «LLMs can't jump».
  • Языковые модели ограничены статистическим анализом данных и не обладают механизмами для генерации принципиально новых научных парадигм.
  • Для совершения научных революций ИИ необходимы полноценные модели мира, способные к причинно-следственному анализу и проверке гипотез.