arXiv · 17.06.2026 ·Машинное обучение

TGO: новый подход к анализу геометрии представлений в Vision Transformers

Исследователи представили Transformer Geometry Observatory (TGO) — систематический фреймворк для изучения внутренней структуры и размерности представлений в моделях Vision Transformers (ViT). Несмотря на широкое распространение архитектур на базе трансформеров в задачах компьютерного зрения, принципы формирования их скрытых пространств и геометрические свойства признаков до сих пор оставались недостаточно изученными.

Разработанный инструментарий включает набор аналитических пайплайнов, позволяющих отслеживать, как именно данные трансформируются при прохождении через слои внимания и полносвязные блоки. Авторы фокусируются на спектральной геометрии, анализируя собственные значения матриц признаков и их динамику в процессе обучения. Такой подход помогает выявить закономерности, которые определяют способность модели к обобщению и устойчивость к искажениям входных данных.

Результаты применения TGO позволяют глубже понять, как архитектурные гиперпараметры влияют на топологию представлений. Полученные данные дают возможность более точно настраивать модели для специфических задач, опираясь на математически обоснованные метрики сложности и размерности, а не только на эмпирические результаты бенчмарков.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. Hacker News · Машинное обучение Next-Latent Prediction Transformers: компактные мировые модели Исследователи представили новый подход к созданию мировых моделей — Next-Latent Prediction Transformers (NLP-T). В отличие от традиционных моделей, NLP-T используют компактные представления, что позволяет значительно снизить вычислительные затраты при сохранении высокой точности. arXiv · Память и RAG Geometric Action Model для обучения политик роботов Исследователи из MIT и Google DeepMind представили новый подход к обучению политик роботов, который учитывает геометрию физического мира. В статье, опубликованной на arXiv, авторы предлагают Geometric Action Model (GAM), который позволяет роботам не только следовать инструкциям пользователей, но и учитывать взаимодействие объектов, камер и действий робота в 3D пространстве. arXiv · Машинное обучение Исследование: устойчивые и адаптивные трансформеры с фиксированной точкой Учёные предложили новый подход к трансформерам с циклической архитектурой, который решает проблему распространения сигнала на больших глубинах. В статье на arXiv представлены Fixed-Point Reasoners — модели, способные адаптироваться к сложным задачам, требующим составного рассуждения. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации. arXiv · Исследования и наука Геометрический анализ разрывов в архитектурах Sparse Mixture-of-Experts Исследователи представили новый математический анализ архитектур Sparse Mixture-of-Experts (SMoE), которые лежат в основе большинства современных больших языковых и мультимодальных моделей. Основная проблема таких систем заключается в механизме маршрутизации Top-k, который динамически выбирает активные нейронные сети для обработки конкретного токена. Этот процесс делает функцию преобразования данных в модели математически разрывной. arXiv · Машинное обучение Гибридная архитектура LSTM и Vision Transformer для прогнозирования ошибок погоды Исследователи представили гибридную модель машинного обучения, предназначенную для коррекции ошибок в численных прогнозах погоды высокого разрешения (NWP). Система High-Resolution Rapid Refresh (HRRR), используемая метеорологами, часто сталкивается с неточностями, вызванными сложными атмосферными процессами, такими как конвекция, влияние рельефа и динамика пограничного слоя планеты. Традиционные методы не всегда справляются с учетом вертикальной структуры атмосферы, что приводит к накоплению погрешностей в краткосрочных прогнозах. arXiv · Машинное обучение Исследование: неравномерное распределение параметров в трансформерах Учёные изучили эффективность неравномерного распределения параметров в трансформерах. Обычно архитектуры трансформеров используют одинаковую ширину во всех слоях, что приводит к равномерному распределению вычислительных ресурсов. Однако новые исследования показывают, что разные слои могут выполнять разные роли, и их вычислительные потребности могут отличаться. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. MarkTechPost · Инфраструктура для агентов Как оптимизировать трансформеры с xFormers xFormers — это инструмент для создания быстрых и экономичных трансформеров на GPU. В статье разбирают ключевые техники: упакованные последовательности, группированное внимание (GQA), ALiBi, SwiGLU и причинное внимание.

← Все материалы