Интерактивный проект Celestial LLM предлагает необычный взгляд на внутреннее устройство больших языковых моделей, визуализируя их архитектуру через аналогию с геоцентрической системой мира Клавдия Птолемея. Авторы используют 3D-моделирование, чтобы наглядно показать, как слои внимания (attention layers) и веса взаимодействуют друг с другом, превращая абстрактные математические операции в понятную пространственную структуру, напоминающую эпициклы небесных тел.

Проект помогает визуализировать процесс обработки токенов и то, как информация «вращается» внутри трансформера. Вместо плоских схем архитектуры, которые обычно встречаются в документации, здесь используется интерактивная среда, где каждый слой модели представлен как орбита. Это позволяет исследователям и инженерам увидеть, как данные проходят через слои внимания, формируя предсказания следующего токена, и как распределяются веса в многомерном пространстве параметров.

Такой подход к визуализации упрощает понимание того, как именно «мыслят» современные нейросети. Вместо того чтобы воспринимать модель как «черный ящик», пользователь может наблюдать за динамикой активаций в реальном времени. Это особенно полезно для анализа того, как глубокие слои модели абстрагируют информацию, переходя от простых синтаксических связей к сложным семантическим конструкциям, что критически важно для отладки и интерпретируемости моделей.

Ключевые факты

  • Проект визуализирует архитектуру трансформеров через 3D-модель эпициклов Птолемея.
  • Интерактивная среда позволяет наблюдать за движением весов и активаций в слоях внимания.
  • Визуализация помогает упростить понимание абстрактных процессов обработки токенов в LLM.
  • Инструмент ориентирован на наглядное представление глубоких слоев нейросетей как динамических систем.