Машинное обучение
Ускорение криптографических вычислений в NVIDIA CUDA 13.3
NVIDIA представила поддержку инструкции carryless multiplication (CLMUL) в CUDA 13.3, что значительно ускоряет криптографические операции на GPU. Ранее эта функция была доступна преимущественно на уровне CPU, однако перенос вычислений на графические процессоры позволяет кратно повысить производительность алгоритмов шифрования и хеширования, критически важных для защиты данных в современных ИИ-системах и высоконагруженных вычислениях.
Мультиэкспертная маршрутизация для распознавания редких исторических текстов
Исследователи представили метод мультиэкспертной маршрутизации для задач OCR в условиях дефицита данных, применив его к маньчжурской письменности. Система использует чекпоинты итеративного дообучения в качестве узкоспециализированных экспертов, а легкий классификатор на уровне страницы направляет изображения к нужной модели. Это позволяет эффективно обрабатывать визуально различающиеся стили письма, такие как устав, скоропись и дворцовый канцелярский почерк.
Оптимизация прогнозирования энергии ветра и солнца с помощью отбора признаков
Исследователи представили новый метод повышения точности прогнозирования генерации возобновляемых источников энергии. Используя эффективный подход на основе оберточных алгоритмов (wrapper-based feature selection), авторы смогли оптимизировать выбор входных данных для моделей машинного обучения. Это позволяет значительно снизить неопределенность, связанную с погодной зависимостью ветряных и солнечных электростанций, обеспечивая более стабильное планирование энергетических мощностей.
Алгебраические основы FlashAttention: как работает ускорение внимания
FlashAttention произвел революцию в обучении трансформеров, позволив эффективно обрабатывать длинные контексты за счет оптимизации работы с памятью GPU. Новый разбор от RiftStack детально объясняет математическую базу алгоритма, включая технику тайлинга и перевычисления (recomputation), которые позволяют избежать записи огромных матриц внимания в медленную память HBM, значительно ускоряя вычисления.
Использование показателя Ляпунова для обучения стабилизации систем в RL
Исследователи предложили использовать характеристический показатель Ляпунова (LCE) в качестве функции плотного вознаграждения для задач обучения с подкреплением. Метод протестировали на классической задаче стабилизации перевернутого маятника с вертикальным движением основания. Агент не только успешно воспроизвел известное колебательное движение маятника Капицы, но и научился полностью гасить колебания, удерживая систему в строго вертикальном положении.
Новый метод EB-VAE для анализа динамики опухолей и прогнозирования выживаемости
Исследователи представили расширение фреймворка эмпирического байесовского вариационного автокодировщика (EB-VAE) для совместного моделирования продольных медицинских данных и событий во времени. Метод позволяет интегрировать измерения размеров опухолей, генетические ковариаты и данные о выбывании пациентов из исследований, обеспечивая более точную оценку реакции на терапию и прогнозирование клинических исходов в онкологии.
Новый метод контрафактивного редактирования для анализа тональности по аспектам
Исследователи представили метод Constraint-Aware Counterfactual Editing (CACE), предназначенный для улучшения оценки моделей анализа тональности по аспектам (ABSA). Подход позволяет точечно изменять эмоциональную окраску конкретного объекта в предложении, сохраняя при этом контекст, связность текста и неизменность тональности других аспектов, что критически важно для проверки устойчивости и точности современных NLP-систем.
DeltaMerge-LowRes: эффективная адаптация моделей через композицию весовых дельт
Исследователи представили метод DeltaMerge-LowRes, позволяющий адаптировать мультиязычные энкодеры к новым языкам и задачам без дорогостоящего совместного дообучения. Вместо объединения параметров в процессе обучения, подход предполагает раздельное вычисление языковых и целевых «дельт» (изменений весов) с последующей их комбинацией в пространстве весов, что критически важно для условий с крайне ограниченным объемом размеченных данных.
Генеративная компиляция: интеграция обратной связи компилятора в процесс генерации кода
Исследователи представили метод «генеративной компиляции», который внедряет обратную связь от компилятора непосредственно в процесс авторегрессионной генерации кода. В отличие от стандартных подходов, где проверка происходит после завершения генерации, новый метод использует семантические правила языка программирования для коррекции токенов на лету, что значительно повышает качество и работоспособность кода для строго типизированных языков вроде Rust.
Новый алгоритм Ньютона для неотрицательной матричной факторизации
Исследователи представили эффективный алгоритм Ньютона для неотрицательной матричной факторизации (NMF), использующий дивергенцию Кульбака-Лейблера. Метод оптимизирует разложение матриц для данных с распределением Пуассона, что критически важно для анализа текстовых корпусов и частотных наборов данных. Новый подход значительно ускоряет сходимость по сравнению с классическими итеративными методами, сохраняя высокую точность аппроксимации при работе с разреженными структурами.
Обнаружение аномалий в радиочастотном спектре с помощью метода Quantum Kitchen Sinks
Исследователи представили метод обнаружения аномалий в радиочастотных сетях, основанный на архитектуре Quantum Kitchen Sinks (QKS). Подход использует гибридные квантовые карты признаков для анализа спектрограмм, что позволяет эффективно выявлять вредоносные передачи в беспроводных каналах. Метод адаптирован для работы на современных квантовых устройствах с ограниченными ресурсами, обеспечивая высокую точность классификации сигналов при минимальных вычислительных затратах.
Анализ качества ИИ-кода: одна ошибка на каждые 62 строки
Исследователи проанализировали более 21,6 млн строк кода, созданного с помощью ИИ, чтобы оценить его техническое состояние. Результаты показали, что на каждые 62 строки приходится в среднем одна критическая ошибка или нарушение стандартов безопасности. Это подчеркивает необходимость внедрения строгих процессов автоматизированного контроля качества при интеграции генеративных моделей в процессы разработки программного обеспечения.
Уроки NVIDIA Nemotron: как 5000+ участников Kaggle улучшали логические способности ИИ
NVIDIA подвела итоги соревнования Nemotron Model Reasoning Challenge, в котором более 5000 участников искали способы повышения точности логических рассуждений LLM. Исследование показало, что комбинация продвинутых методов промпт-инжиниринга, итеративного самообучения и специфических стратегий фильтрации данных позволяет значительно улучшить качество ответов моделей в задачах, требующих глубокой дедукции и многошагового планирования.
TerraZero: процедурный симулятор для обучения беспилотных систем
Исследователи представили TerraZero — новый процедурный симулятор и стек для обучения беспилотных транспортных средств методом самообучения (self-play). Система решает проблему дефицита данных для критических ситуаций, генерируя разнообразные дорожные сценарии на основе реальных картографических структур. Это позволяет масштабировать обучение агентов с подкреплением, обеспечивая высокую скорость симуляции и реалистичность поведения в сложных условиях.
Новый метод Ensemble Controlled-Flow Filtering для ассимиляции данных
Исследователи представили метод Ensemble Controlled-Flow Filtering (ECFF) для решения задач ассимиляции данных в сложных динамических системах. Подход позволяет эффективно оценивать состояние системы, даже когда механизмы наблюдений являются негладкими, неявными или доступны исключительно через симуляцию. Метод устраняет необходимость в явных структурах остатков или градиентах функции правдоподобия, расширяя возможности прогнозирования в условиях неопределенности.
Новый метод обучения с подкреплением для задач с параметризованными действиями
Исследователи представили новый подход к обучению с подкреплением в средах с параметризованными действиями (PAMDP), где агент должен выбирать как дискретное действие, так и сопутствующие ему числовые параметры. Метод использует комбинацию экспертных знаний и градиентной оптимизации, что позволяет значительно повысить эффективность использования обучающих выборок по сравнению с традиционными одношаговыми оценщиками параметров.
LatentFlow: универсальный фреймворк для кондиционирования стохастических процессов
Исследователи представили LatentFlow — универсальный метод для кондиционирования стохастических процессов, который обходится без нейросетевых аппроксимаций и специализированных архитектур. Фреймворк позволяет эффективно работать с нелинейными наблюдениями, негауссовскими правдоподобиями и глобальными ограничениями, которые ранее требовали создания уникальных моделей под каждую конкретную задачу, упрощая процесс моделирования сложных динамических систем и временных рядов.
Основы тензорных вычислений: как работают нейронные сети изнутри
Статья Сергея Лысенко представляет собой глубокий технический разбор фундаментальных принципов работы тензоров в машинном обучении. Автор объясняет математическую природу многомерных массивов и их роль в операциях нейронных сетей, демонстрируя, как простые линейные преобразования и функции активации формируют архитектуру современных моделей без использования тяжеловесных фреймворков.
Новая функция потерь CoCo для оптимизации векторных представлений
Исследователи представили функцию потерь Contrastive-Collapsed (CoCo), предназначенную для обучения более качественных и геометрически оптимальных векторных представлений (эмбеддингов). Метод сочетает внутриклассовое сжатие с межклассовым контрастированием, что позволяет нейронным сетям быстрее сходиться и достигать высокой угловой сепарации между классами, сохраняя при этом гибкость модели для решения сложных задач классификации и обучения репрезентаций.
Физико-ориентированный подход к детекции падений на edge-устройствах
Исследователи представили новый метод обнаружения падений, основанный на анализе динамики устойчивости человеческого тела, а не на классификации статических поз. Подход использует физические принципы для оценки потери равновесия в реальном времени, что позволяет эффективно внедрять систему на маломощных edge-платформах. Это решение повышает точность мониторинга в системах безопасности и ухода за пожилыми людьми, минимизируя ложные срабатывания.
Автоматизация обучения моделей с помощью RL-агента
Разработчик представил проект, в котором агент, обученный с помощью обучения с подкреплением (RL), берет на себя процесс настройки и тренировки других нейросетевых моделей. Эксперимент направлен на автоматизацию выбора гиперпараметров и стратегий обучения, что позволило сократить ручное вмешательство в процесс подготовки моделей, несмотря на затраты в 1300 долларов на вычислительные ресурсы.
Ускорение сходимости алгоритма Randomized Hamiltonian Monte Carlo
Исследователи представили математическое доказательство ускоренного времени перемешивания для алгоритма Randomized Hamiltonian Monte Carlo (RHMC) при выборке из лог-вогнутых распределений вероятностей. Метод, основанный на циклической симуляции гамильтоновой динамики со случайными интервалами интеграции и сбросом скоростей, демонстрирует повышенную вычислительную эффективность, что критически важно для задач байесовского вывода и высокоразмерного статистического моделирования в машинном обучении.
Метод UR-VC для автоматической коррекции сигналов прогресса в обучении роботов
Исследователи представили метод UR-VC (Unsupervised Robotic Value Correction), который решает проблему неточных сигналов прогресса при обучении роботов. Вместо использования упрощенной временной нормализации, алгоритм автоматически корректирует значения ценности состояний, опираясь на визуальные данные. Это позволяет агентам точнее оценивать промежуточные этапы выполнения задач и успешность их завершения без необходимости в ручной разметке данных.
Дифференцируемый Fortran: интеграция Enzyme и LFortran для научного ИИ
Разработчики представили решение для автоматического дифференцирования кода на языке Fortran, объединив компилятор LFortran с фреймворком Enzyme. Этот инструмент позволяет вычислять градиенты непосредственно в коде на Fortran, что критически важно для обучения нейронных сетей и оптимизации сложных физических моделей, где требуется высокая производительность и использование существующих научных библиотек без их переписывания на Python или C++.