Машинное обучение
Асинхронный конвейерный параллелизм для обучения LLM без потери эффективности
Исследователи представили метод, доказывающий, что одношаговая задержка градиента не является препятствием для эффективного крупномасштабного обучения LLM при использовании асинхронного конвейерного параллелизма. Новый подход позволяет устранить простои графических процессоров, возникающие из-за «пузырей» в конвейере, и значительно повысить пропускную способность системы без ущерба для качества сходимости модели при распределенном обучении на кластерах.
GROW$^2$: новый метод обучения роботов нестандартному использованию инструментов
Исследователи представили GROW$^2$ — фреймворк для обучения роботов поиску и использованию объектов в качестве инструментов для задач, выходящих за рамки их прямого назначения. Система решает проблему «заземления аффордансов» в открытом мире, позволяя роботу самостоятельно определять подходящий предмет, например, использовать тарелку для нарезки торта при отсутствии ножа, и точно локализовать область взаимодействия с объектом.
Новый метод C2R повышает точность интерпретации нейросетей через разреженные автокодировщики
Исследователи представили метод C$^{2}$R (Cross-sample Consistency Regularization), направленный на решение проблем «расщепления» и «поглощения» признаков в разреженных автокодировщиках (SAE). Этот подход позволяет более эффективно декомпозировать активации больших языковых моделей, предотвращая фрагментацию понятий и обеспечивая более точное выделение атомарных признаков, что критически важно для интерпретируемости сложных нейронных архитектур.
Применение аспектно-ориентированного программирования для логирования данных DRL-агентов
Исследователи предложили использовать аспектно-ориентированное программирование (АОП) для сбора данных при обучении агентов с подкреплением (DRL). Этот подход позволяет отделять логику сбора метрик и состояний среды от основного кода алгоритма, что упрощает отладку сложных систем и делает процесс мониторинга обучения более прозрачным, не перегружая при этом архитектуру модели лишними зависимостями.
Мультизадачный подход Mixture of Experts для анализа вредоносного ПО
Исследователи представили архитектуру на базе Mixture of Experts (MoE) для комплексного анализа вредоносного программного обеспечения. Модель одновременно решает задачи классификации угроз, обнаружения упаковщиков кода и атрибуции семейств вредоносного ПО. Использование мультизадачного обучения позволяет эффективно обрабатывать гетерогенные данные и повышать точность детектирования обфусцированных и редких образцов, с которыми не справляются традиционные монолитные системы.
Latent Action Models: новый метод обучения агентов в визуально сложных средах
Исследователи представили Latent Action Models (LAMs) — новый подход к обучению прокси-действий на основе визуальных переходов. Метод позволяет агентам выделять значимые действия из «шумных» сцен, где движения объекта смешиваются с динамикой камеры и фоновыми изменениями. Это решает проблему неоднозначности данных, позволяя эффективно обучаться без необходимости в прямой разметке действий в сложных визуальных средах.
Метод μFlow повышает точность обнаружения дипфейков через анализ усредненных изображений
Исследователи представили метод μFlow, направленный на борьбу с проблемой слабой обобщающей способности детекторов дипфейков. Новый подход использует усредненные изображения для обучения моделей, что позволяет им эффективнее распознавать манипуляции, созданные неизвестными ранее генеративными алгоритмами. Технология демонстрирует высокую устойчивость к различным архитектурам GAN и диффузионных моделей, сохраняя точность при работе с новыми типами синтетического контента.
ITSPACE: новый метод оптимизации для работы с ковариационными матрицами
Исследователи представили ITSPACE — алгоритм для обновления ковариационных матриц на основе монотонного гауссовского оптимального транспорта. Метод решает задачу минимизации расстояния Вассерштейна-2 в пространстве симметричных положительно определенных матриц. Решение позволяет эффективно вычислять обновления в задачах доменной адаптации и обучения гауссовских эмбеддингов, обеспечивая более высокую вычислительную стабильность по сравнению с классическими подходами.
Новый метод RAG для разрешения конфликтов знаний
Исследователи представили метод Regime-Aware Peer Specialization (RAPS), повышающий устойчивость RAG-систем при работе с противоречивыми данными. Алгоритм классифицирует конфликты между внешним контекстом и параметрическими знаниями модели, адаптируя стратегию генерации в зависимости от степени надежности найденных источников. Это позволяет минимизировать галлюцинации и повысить точность ответов в условиях неоднородных и потенциально вредоносных данных.
Оптимизатор Muon ускоряет обучение нейросетей через динамику матричной факторизации
Исследователи проанализировали работу оптимизатора Muon, выявив его способность эффективно находить сбалансированные решения в задачах матричной факторизации. В отличие от стандартного градиентного спуска, Muon избегает медленной динамики «седло-седло», что позволяет быстрее достигать оптимальных весов в нелинейных системах. Это открытие объясняет высокую производительность алгоритма при обучении современных архитектур нейронных сетей и глубоком обучении представлений.
Гибридный метод обучения для адаптации к смене концепций в сетях
Исследователи представили гибридный фреймворк активного онлайн-обучения, предназначенный для обнаружения сбоев в оптических сетях. Метод эффективно адаптируется к изменениям данных (concept drift), используя селективную маркировку на основе пороговых значений. Это позволяет поддерживать высокую точность прогнозирования при минимальных затратах на разметку потоковых данных, что критически важно для высоконагруженных телекоммуникационных систем.
Новый метод ускорения оценки расстояния Слайсед-Вассерштейна
Исследователи представили метод высокопараллельной оценки расстояния Слайсед-Вассерштейна (SW), основанный на использовании функций кумулятивного распределения (CDF). Новый подход позволяет избежать затратной по времени сортировки данных, необходимой в классических методах Монте-Карло, что существенно ускоряет вычисления при работе с большими наборами данных и многомерными распределениями в задачах машинного обучения.
PromptGNN-sim: новый метод глубокой интеграции графовых нейросетей и LLM
Исследователи представили PromptGNN-sim — архитектуру для работы с графами, обогащенными текстовыми данными (TAG). Метод решает проблему поверхностного взаимодействия между текстовой семантикой и структурой графа, используя глубокое слияние и выравнивание модальностей. Это позволяет значительно повысить точность предсказаний в задачах с разреженными связями и улучшить обобщающую способность моделей на новых графах.
Новый подход к обучению агентов пониманию и генерации движений
Исследователи представили метод адаптации моделей для непрерывного обучения агентов, работающих с человеческими движениями. Решение использует модификации LoRA для последовательного освоения новых концепций — от спортивных стилей до специфических жестов — без потери ранее накопленных знаний. Это позволяет ИИ-агентам эффективно адаптироваться к динамическим средам, сохраняя двунаправленную способность к преобразованию текста в движение и обратно.
KnowsTFM: повышение точности табличных моделей через интеграцию знаний
Исследователи представили метод KnowsTFM, который улучшает работу малых табличных моделей (TFM) за счет интеграции внешних реляционных знаний. В условиях нехватки данных или их высокого смещения относительно обучающей выборки, подход позволяет моделям превосходить специализированные методы, эффективно используя структурированную информацию из предметных областей для повышения качества предсказаний в сложных задачах.
Новый метод CGSD для поиска сообществ в гетерофильных графах
Исследователи представили метод Curvature-Guided Sheaf Diffusion (CGSD) для поиска сообществ в гетерофильных графах, где связанные узлы часто относятся к разным классам. В отличие от классических спектральных методов или непрозрачных глубоких моделей, CGSD использует геометрическую кривизну для управления процессом диффузии, обеспечивая высокую точность кластеризации без необходимости в размеченных данных или контрастивном обучении.
Оптимизация сенсоров в MARL для управления сложными физическими системами
Исследователи представили метод оптимизации расположения датчиков для управления конвекцией Рэлея-Бенара с помощью многоагентного обучения с подкреплением (MARL). Авторы обучают плотные экспертные политики на основе оконных наблюдений, а затем дистиллируют их в разреженные «ученические» модели. Использование групповой регуляризации весов входа энкодера позволяет значительно сократить количество необходимых сенсоров при сохранении высокой эффективности управления системой.
Повышение устойчивости нейросетевых алгоритмов реконструкции данных
Исследователи представили новый фреймворк для решения обратных задач в машинном обучении, использующий методы дистрибутивно-робастной оптимизации (DRO). Подход позволяет нейросетям сохранять точность реконструкции даже при значительных отклонениях характеристик шума в тестовых данных от тех, что использовались при обучении, решая проблему слабой обобщающей способности стандартных моделей в условиях изменчивой среды.
B3O: новый метод масштабируемой байесовской оптимизации для параллельных вычислений
Исследователи представили B3O (Boltzmann Batch Bayesian Optimization) — новый фреймворк для байесовской оптимизации, решающий проблему масштабируемости при работе с большими пакетами данных. В отличие от традиционных подходов, требующих высоких вычислительных затрат или жертвующих разнообразием выборки, B3O переосмысливает генерацию пакетов как задачу чистого сэмплирования, что позволяет эффективно использовать возможности параллельных симуляций в инженерных процессах.
Анализ динамики обучения нейросетей через спектральные свойства матрицы Гессе
Исследователи представили новый метод анализа процесса обучения нейронных сетей, основанный на изучении динамики собственных векторов матрицы Гессе. Работа раскрывает, как изменение кривизны ландшафта функции потерь коррелирует с выбором оптимизатора и обобщающей способностью модели. Авторы показывают, что отслеживание смещения и локализации этих векторов позволяет глубже понять механизмы оптимизации и стабильность обучения в глубоких архитектурах.
Оптимизация RGB-T детектирования объектов через разреженную кросс-модальную фузию
Исследователи представили метод эффективного обнаружения объектов, объединяющий данные видимого спектра и тепловизионных камер. В отличие от стандартных подходов, требующих тяжелых архитектур и обработки всего изображения, новый алгоритм использует разреженную кросс-модальную фузию. Это позволяет сосредоточить вычислительные ресурсы на информативных областях, игнорируя однородные фоновые зоны, что значительно снижает нагрузку на систему без потери точности.
Методы повышения эффективности LLM: обзор лекций Columbia ML Summer School
Лекционный курс в рамках Columbia Machine Learning Summer School 2026 посвящен фундаментальным подходам к оптимизации больших языковых моделей. Эксперты разбирают методы снижения вычислительных затрат при сохранении качества генерации, включая техники квантования, прунинга и оптимизации архитектурных решений, которые позволяют запускать сложные модели на ограниченных аппаратных ресурсах без существенной потери точности.
ИИ превзошел классические квантовые алгоритмы в задаче взлома ECDSA
Исследователь продемонстрировал метод на базе машинного обучения, который превосходит известные квантовые схемы для взлома алгоритма цифровой подписи на эллиптических кривых (ECDSA). Новый подход позволяет сократить количество логических кубитов, необходимых для выполнения атаки, что делает теоретическую угрозу для криптографических систем более близкой к практической реализации, чем считалось ранее.
Техники оптимизации LLM: от квантования до эффективного инференса
Оптимизация больших языковых моделей становится критическим этапом для снижения затрат и повышения скорости работы ИИ-систем. Основные методы включают квантование весов, использование специализированных форматов данных и оптимизацию алгоритмов внимания. Эти подходы позволяют запускать мощные модели на ограниченном железе, сохраняя при этом высокую точность генерации и минимизируя задержки при обработке запросов в реальном времени.