arXiv · 29.07.2026 ·Машинное обучение

Новый метод обучения энергетических моделей через Parallel Trajectory Tempering

Исследователи представили алгоритм обучения энергетических моделей (EBM), использующий метод Parallel Trajectory Tempering (PTT). Новый подход решает проблему низкой эффективности алгоритмов MCMC, обеспечивая стабильную выборку из распределения в процессе оптимизации. Это позволяет значительно ускорить сходимость моделей и повысить качество генерации данных, что особенно критично для задач научного моделирования и анализа сложных физических систем.

Энергетические модели привлекательны своей интерпретируемостью, однако их обучение традиционно затруднено из-за сложности сэмплирования состояний. Метод PTT использует непрерывность пути оптимизации, поддерживая равновесное состояние системы на протяжении всего цикла обучения. Это устраняет «застревание» модели в локальных минимумах, которое часто наблюдается при использовании стандартных методов Монте-Карло в высокоразмерных пространствах.

Внедрение данного подхода позволяет эффективнее работать с научными данными, где точность распределения вероятностей имеет решающее значение. Алгоритм демонстрирует повышенную стабильность при обучении, что делает EBM более конкурентоспособными по сравнению с диффузионными моделями в задачах, требующих высокой интерпретируемости и физической корректности результатов.

Ключевые факты

Метод PTT (Parallel Trajectory Tempering) интегрирует равновесное сэмплирование непосредственно в процесс обучения энергетических моделей.
Алгоритм решает проблему медленного перемешивания (mixing) в цепях Маркова, ограничивающую надежность генеративных моделей.
Подход обеспечивает непрерывную оптимизацию, предотвращая деградацию качества выборки на ранних этапах обучения.
Технология ориентирована на генеративное моделирование научных данных, где важна интерпретируемость и строгое соответствие физическим законам.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · ИИ в бизнесе Оптимизация систем накопления тепловой энергии с помощью дообученных LLM Исследователи представили метод управления системами накопления тепловой энергии (TES) в зданиях с помощью дообученных моделей рассуждения. Использование RL-алгоритмов вместе с верификаторами позволило эффективно планировать нагрузку на энергосеть, обходя ограничения традиционных систем управления (MPC) и классического обучения с подкреплением, которые плохо масштабируются на разные типы зданий и инфраструктурных объектов. arXiv · Машинное обучение PeTeR: новый метод повышения устойчивости вероятностных схем Исследователи представили метод PeTeR (Post-Training Robustification of Probabilistic Circuits), направленный на повышение устойчивости вероятностных схем (PC) к шуму в данных и сдвигам распределения. Подход использует распределенно-устойчивую оптимизацию для корректировки моделей после завершения основного обучения, что позволяет улучшить точность обобщения в условиях ограниченных выборок и нестабильных входных данных без необходимости полного переобучения архитектуры. arXiv · Машинное обучение Новый метод обучения PINN для решения обратных задач в физике Исследователи представили метод Target-Guided Selective Reweighting (TGSR) для обучения физико-информированных нейронных сетей (PINN). Подход решает проблему некорректно поставленных оптимизационных задач и конфликтов функций потерь при использовании трансферного обучения. Алгоритм динамически перевзвешивает данные, предотвращая негативный перенос знаний, когда физические механизмы или параметры исходной и целевой задач существенно различаются. NVIDIA Technical Blog · Машинное обучение Оптимизация обучения LLM через неравномерный тензорный параллелизм NVIDIA представила метод неравномерного тензорного параллелизма (Nonuniform Tensor Parallelism), направленный на повышение эффективности обучения крупномасштабных языковых моделей. Технология позволяет оптимизировать использование вычислительных ресурсов при работе на тысячах GPU, минимизируя время простоя и повышая показатель goodput — долю полезного времени вычислений в общем процессе обучения, что критически важно для сокращения затрат и ускорения разработки моделей. arXiv · Исследования и наука ИИ-метод для моделирования сложных тенсегрити-структур Исследователи представили новый метод на основе энергетических принципов и физико-информированного машинного обучения для поиска формы и прогнозирования свойств тенсегрити-структур. Подход решает проблему нелинейности, возникающую при расчете равновесных конфигураций и распределения внутренних сил, позволяя эффективно моделировать сложные кластерные системы, где геометрия и физические нагрузки тесно связаны между собой. arXiv · Машинное обучение MixTTA: новый метод адаптации моделей к изменениям данных в реальном времени Исследователи представили MixTTA — метод адаптации моделей в процессе тестирования (TTA), который решает проблему неэффективности стандартных подходов при изменении распределения данных. В отличие от традиционных методов, обновляющих параметры нормализации по отдельным каналам, MixTTA использует низкоранговое смешивание каналов, что позволяет модели лучше адаптироваться к структурным сдвигам в данных без необходимости переобучения. arXiv · Машинное обучение Новый метод обучения генеративных моделей с учетом стоимости принятия решений Исследователи представили метод Decision-Aware Training, который оптимизирует генеративные модели для задач вероятностного прогнозирования с учетом реальных экономических затрат. В отличие от стандартных подходов, фокусирующихся на плотности данных, новый алгоритм перераспределяет обучающий сигнал, минимизируя риски и издержки, связанные с ошибками прогноза в критически важных бизнес-процессах и управленческих решениях. arXiv · Исследования и наука Ускорение генерации видео через дистилляцию параллельного декодирования Исследователи представили метод Parallel Decoding Distillation (PDD), направленный на радикальное ускорение генерации изображений и видео. Технология позволяет сократить количество итераций при сэмплировании в диффузионных и потоковых моделях, сохраняя при этом высокое визуальное качество. Новый подход решает проблему вычислительной сложности, характерную для современных генеративных моделей, за счет оптимизации процесса обучения и перехода к многошаговой генерации с меньшими затратами ресурсов. Hacker News · Машинное обучение Оптимизация процесса оценки моделей через эволюционные алгоритмы Вместо классического дообучения нейросетей исследователи предлагают сосредоточиться на эволюции «обвязки» (harness) — набора промптов, параметров и стратегий оценки. Такой подход позволяет значительно повысить производительность моделей на конкретных задачах без изменения весов самой нейросети, используя автоматизированный поиск оптимальных конфигураций для достижения целевых метрик качества в реальных бизнес-сценариях. arXiv · Исследования и наука Обучение эргодических динамических систем на основе конечных траекторий Исследователи представили новый подход к обучению стохастических динамических систем, используя данные одной конечной траектории. Работа фокусируется на дискретных автономных системах, описываемых как однородные по времени марковские процессы. Авторы предложили метод оценки функции прогнозирования на один шаг вперед с помощью нелинейных наименьших квадратов и вывели строгие вероятностные гарантии точности модели относительно инвариантной меры системы.

← Все материалы