arXiv · 14.07.2026 ·Исследования и наука

Исследование авторегрессионного дрейфа при синтезе квантовых схем

Исследователи проанализировали проблему накопления ошибок при использовании трансформеров для синтеза квантовых схем. В работе показано, что авторегрессионные модели склонны к «дрейфу», который нарушает функциональную эквивалентность схем. Для решения задачи оптимизации ресурсов, таких как T-гейты, авторы использовали компактную модель на 44,8 млн параметров, протестировав её на параметризованных и Clifford+T схемах малой размерности.

В квантовых вычислениях, устойчивых к ошибкам, критически важно сохранять точность логики при минимизации затратных не-Клиффордовых операций. Использование трансформеров с токенизацией схем позволяет эффективно представлять структуру вычислений, однако стандартный авторегрессионный подход приводит к постепенному отклонению от целевой функции. Это делает невозможным прямое применение генеративных моделей для синтеза сложных квантовых алгоритмов без дополнительных механизмов контроля.

Авторы статьи предлагают структурированный подход к токенизации, который помогает модели лучше учитывать топологию квантовых цепей. Эксперименты на схемах с количеством кубитов от 2 до 6 демонстрируют границы применимости текущих архитектур и подчеркивают необходимость разработки специализированных методов обучения, предотвращающих накопление дрейфа при генерации длинных последовательностей квантовых операций.

Ключевые факты

Модель: энкодер-декодер трансформер с 44,8 млн параметров.
Объект исследования: синтез и оптимизация квантовых схем с минимизацией T-гейтов.
Тестовая выборка: параметризованные схемы (2–6 кубитов) и Clifford+T схемы (3–6 кубитов).
Основная проблема: авторегрессионный дрейф, нарушающий функциональную эквивалентность синтезируемых схем.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Новый подход к оптимизации нейронных декодеров для квантовых вычислений Исследователи представили метод повышения эффективности фундаментальных нейронных декодеров, критически важных для отказоустойчивых квантовых вычислений. Предложенный подход решает проблему масштабируемости при работе с большими кодовыми расстояниями, значительно снижая вычислительные затраты на генерацию синдромов и оптимизацию нейронных сетей. Это открывает путь к более надежной коррекции ошибок в крупномасштабных квантовых системах. arXiv · Исследования и наука Квантование LLM меняет поведение моделей сильнее, чем показывают метрики точности Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании. Lobsters · Исследования и наука Сравнение архитектур Transformer и гибридных моделей на уровне токенов Исследователи представили детальный сравнительный анализ классических трансформеров и гибридных архитектур, фокусируясь на эффективности обработки данных на уровне токенов. Работа выявляет фундаментальные различия в механизмах внимания и рекуррентных процессах, определяя, в каких сценариях гибридные подходы превосходят стандартные трансформеры по скорости инференса и качеству генерации при сохранении сопоставимой вычислительной сложности. arXiv · Машинное обучение OrbitQuant: новый метод квантования для диффузионных трансформеров Исследователи представили OrbitQuant — метод посттренировочного квантования (PTQ), оптимизирующий работу диффузионных трансформеров (DiT) без необходимости подстройки под конкретные данные. Решение устраняет проблему нестабильности активаций при смене временных шагов и промптов, позволяя значительно ускорить инференс тяжелых моделей для генерации изображений и видео без потери качества и переобучения под каждую новую архитектуру. arXiv · Исследования и наука Оптимизация квантовых ядер в задачах обучения с подкреплением Исследователи представили новый подход к оптимизации в рамках гауссовских процессов (GP) с использованием квантовых ядер. Работа фокусируется на поиске баланса между выразительностью модели и её обучаемостью в условиях ограниченных вычислительных ресурсов эпохи NISQ. Метод позволяет эффективнее решать задачи квантового контроля и подготовки состояний, минимизируя вычислительные затраты при сохранении высокой точности предсказаний в пространстве воспроизводящего ядра (RKHS). arXiv · Инференс и железо Теоретическое обоснование механизмов принятия токенов в спекулятивном декодировании Исследователи представили теоретическую модель процесса принятия токенов в спекулятивном декодировании, которая выходит за рамки классического сохранения распределения вероятностей. Работа анализирует поведение систем при использовании жадных алгоритмов и ослабленных правил верификации, позволяя точнее предсказывать ускорение инференса и качество генерации при работе связки «быстрая модель-черновик — тяжелая целевая модель» в реальных производственных условиях. arXiv · Исследования и наука Оптимизация тестирования и обучения стабилизаторных состояний при ограниченной квантовой памяти Исследователи представили алгоритм для тестирования и обучения стабилизаторных состояний в условиях ограниченной когерентной квантовой памяти. Работа решает проблему эффективной обработки n-кубитных состояний, когда доступный объем памяти k значительно меньше размера системы. Авторы доказывают, что при строгих ограничениях на память возможно достижение высокой точности идентификации квантовых состояний, что критически важно для масштабирования квантовых вычислений и коррекции ошибок. arXiv · Машинное обучение Исследование: устойчивые и адаптивные трансформеры с фиксированной точкой Учёные предложили новый подход к трансформерам с циклической архитектурой, который решает проблему распространения сигнала на больших глубинах. В статье на arXiv представлены Fixed-Point Reasoners — модели, способные адаптироваться к сложным задачам, требующим составного рассуждения. Hacker News · Исследования и наука Исследование внутренней архитектуры Transformer: анализ точности весов Работа «A Transformer Is All You Need PT 2L: Precision Brain Surgery» представляет глубокий анализ механизмов работы трансформеров через призму высокоточной настройки параметров. Авторы исследуют, как изменение конкретных весов внутри нейронной сети влияет на итоговую производительность модели, предлагая методы «хирургического» вмешательства в структуру для оптимизации вычислений и повышения точности без необходимости полного переобучения. Hacker News · Исследования и наука Исследование вычислительных возможностей архитектуры Transformer Новая работа исследователей ставит под сомнение тезис о полноте по Тьюрингу для стандартных архитектур Transformer. В статье анализируются теоретические ограничения моделей, использующих механизм внимания (attention) с фиксированной точностью вычислений. Авторы доказывают, что при стандартных условиях работы с конечным числом слоев и фиксированной размерностью векторов, такие системы не способны симулировать произвольную машину Тьюринга.

← Все материалы