arXiv · 16.06.2026 ·Машинное обучение

Исследование устойчивости позиционного кодирования на основе сходства

Учёные изучили устойчивость similarity-based positional encoding (simPE) — метода, который использует парные отношения для представления позиционной структуры в трансформерах. Исследование показало, что simPE демонстрирует высокую устойчивость к вращениям, что делает его более гибким по сравнению с традиционными методами, такими как абсолютное и синусоидальное кодирование.

Авторы провели как теоретический анализ, так и экспериментальную валидацию, подтвердив, что simPE сохраняет свою эффективность даже при изменении ориентации данных. Это открывает новые возможности для применения метода в задачах, где важна устойчивость к трансформациям.

Работа опубликована на arXiv и может быть полезна разработчикам, работающим с трансформерами и позиционным кодированием. Исследование подчёркивает важность выбора подходящего метода кодирования для конкретных задач и условий.

Ссылка на статью: https://arxiv.org/abs/2606.17961v1

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей. arXiv · Инфраструктура для агентов Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. arXiv · Обучение и дообучение SPaiK: масштабируемое обучение ядерных методов для парных задач Исследователи представили SPaiK — новый метод обучения ядерных методов, оптимизированный для парных задач. В отличие от традиционных подходов, SPaiK сохраняет выразительную силу ядерных методов, но значительно снижает вычислительные и память. Это особенно важно для задач, где необходимо работать с большими объемами данных, например, в рекомендательных системах или сравнении объектов. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Исследования и наука Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение Новый подход к распознаванию таблиц в мультизадачном режиме Исследователи предложили новый метод для распознавания таблиц, который объединяет три задачи: предсказание структуры таблицы, локализацию ячеек и распознавание содержимого ячеек. В отличие от традиционных подходов, которые используют авторегрессивные декодеры, новый метод применяет порядково-независимые представления на уровне ячеек. Это позволяет избежать проблем, связанных с авторегрессивным генерацией, где порядок обработки ячеек может влиять на качество распознавания.

← Все материалы