arXiv · 18.06.2026 ·Исследования и наука

Новый подход к механизму внимания через теорию групп Ли

Исследователи представили математическую модель внимания, в которой токены рассматриваются как элементы матричных групп Ли. В отличие от традиционных архитектур, где токены представляют собой векторы признаков, здесь каждый токен выступает как чистое геометрическое преобразование без внешней нагрузки. Такой подход позволяет вычислять оценки внимания через алгебраическую норму относительного положения, а не через обучаемые ядра, как это реализовано в стандартных трансформерах.

Данная концепция переосмысливает фундаментальный механизм обработки данных в нейронных сетях. Вместо аппроксимации весов через матричное умножение, модель опирается на свойства симметрии и структуру групп Ли. Это позволяет формализовать взаимодействие между токенами как операцию внутри алгебраической структуры, что потенциально упрощает вычисления и делает процесс формирования внимания более интерпретируемым с точки зрения геометрии.

Авторы работы демонстрируют, что отказ от обучаемых ядер в пользу замкнутых алгебраических форм сохраняет эффективность обработки последовательностей. Метод открывает возможности для создания архитектур, которые лучше адаптируются к задачам, требующим понимания пространственных отношений и инвариантных преобразований. Исследование закладывает теоретический фундамент для разработки более компактных и математически обоснованных моделей глубокого обучения.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. Hacker News · Машинное обучение Meta-Attention: новый подход к архитектуре нейросетей Исследователи предложили концепцию Meta-Attention, которая может стать важным шагом в развитии архитектур нейросетей. В отличие от традиционного механизма внимания, который фокусируется на конкретных элементах данных, Meta-Attention позволяет модели динамически адаптировать свои параметры внимания в зависимости от контекста. Это может значительно улучшить способность моделей обрабатывать сложные и разнообразные задачи, что особенно важно для ИИ-агентов, которым требуется гибкость и адаптивность. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Машинное обучение Новый подход к моделированию динамических систем через явные структуры Исследователи представили альтернативный подход к обучению динамических систем, который отходит от использования универсальных нелинейных аппроксиматоров. Вместо наращивания сложности нейронных сетей для захвата сложных паттернов, авторы предлагают архитектуру, где моделирующая способность системы определяется её внутренней структурой. Такой метод позволяет эффективнее описывать поведение динамических процессов, опираясь на математически обоснованные взаимодействия, а не на избыточную нелинейность. arXiv · Машинное обучение Физический подход к пониманию обучения и обобщения нейросетей Исследователи представили работу, анализирующую принципы работы глубокого обучения через призму статистической физики. Авторы отмечают, что современные нейронные сети часто демонстрируют поведение, противоречащее классическим статистическим моделям, что требует пересмотра фундаментальных представлений о процессе обучения и способности моделей к обобщению на новых данных. The latest research from Google · Машинное обучение Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации.

← Все материалы