Машинное обучение
Pulse-Train-Resonator: новая архитектура нейросетей для синтеза звука двигателей
Исследователи представили Pulse-Train-Resonator (PTR) — специализированную архитектуру глубокого обучения, предназначенную для высококачественного синтеза звуков двигателей внутреннего сгорания. Модель эффективно моделирует сложные акустические характеристики работы мотора, используя физически обоснованные подходы к генерации аудиосигнала, что позволяет достичь высокой реалистичности звучания при относительно низких вычислительных затратах по сравнению с универсальными генеративными моделями.
Метод Multimodal Model Diffing для интерпретации и контроля мультимодальных моделей
Исследователи представили метод Multimodal Model Diffing, позволяющий выявлять и контролировать конкретные внутренние признаки в мультимодальных LLM. В отличие от традиционных разреженных автокодировщиков (SAE), которые анализируют скрытые состояния постфактум, новый подход изолирует изменения в признаках, вызванные мультимодальными стимулами, обеспечивая более точную интерпретацию того, как именно модель обрабатывает визуальные и текстовые данные.
Метод Fusion Training для улучшения математических способностей LLM
Исследователи представили метод Fusion Training, позволяющий объединить в одной языковой модели два режима работы: быстрые краткие ответы и глубокое пошаговое рассуждение. Авторы систематизировали динамику обучения, определив оптимальные соотношения данных и графики тренировки, что значительно повышает точность моделей при решении сложных математических задач и улучшает их способность к обобщению.
Новый индекс качества владения мячом в футболе на основе ИИ
Исследователи представили новый аналитический индекс для оценки владения мячом в футболе, который разделяет «созидательное» владение и «бесполезную» перепасовку. В отличие от традиционных метрик, учитывающих только действия с мячом, модель анализирует перемещения игроков без мяча, определяя, насколько эффективно команда создает пространство и угрозу для обороны соперника в процессе владения.
FinATOM: прогнозирование финансовых рынков через генерацию токенов
Исследователи представили FinATOM — метод, который объединяет прогнозирование доходности акций, оценку рисков и распределение активов в единый процесс генерации токенов. В отличие от традиционных моделей, использующих специализированные регрессионные или классификационные «головы», FinATOM работает как каузальная языковая модель, напрямую предсказывая числовые значения через ограниченный вывод токенов, что упрощает архитектуру и повышает эффективность принятия решений.
RynnValue: новый подход к обучению моделей ценности для робототехники
Исследователи представили RynnValue — метод обучения фундаментальных моделей ценности (value models) для робототехники, основанный на концепции временной дистанции. В отличие от традиционных подходов, привязанных к конкретным задачам или предпочтениям, RynnValue позволяет эффективно масштабировать обучение на гетерогенных наборах данных, обеспечивая переносимость навыков между различными робототехническими платформами и источниками информации.
RA-FinBERT: новый метод адаптации LLM для финансового анализа
Исследователи представили RA-FinBERT — метод дообучения моделей, объединяющий контекстуальные представления LLM с жесткими финансовыми правилами. Подход использует адаптацию LoRA для интеграции экспертных знаний в архитектуру модели, что позволяет повысить точность классификации тональности финансовых новостей в условиях ограниченного количества размеченных данных. Это решение помогает эффективнее преобразовывать неструктурированный текст в количественные рыночные сигналы.
Глубокое обучение для распознавания компульсивных движений через носимые сенсоры
Исследователи представили мультимодальную архитектуру глубокого обучения для автоматического обнаружения компульсивных повторяющихся действий, таких как выдергивание волос или расчесывание кожи. Система анализирует данные с носимых датчиков, позволяя объективно классифицировать патологические жесты, которые ранее было сложно отличить от обычных движений из-за их высокой схожести и субтильности в повседневной активности.
SKALD: новый метод обучения моделей через дистилляцию навыков в веса
Исследователи представили SKALD (Skill-Anchored Latent Distillation) — фреймворк для обучения моделей с подкреплением, который переносит абстрактные навыки из контекста непосредственно в веса нейросети. Метод решает проблему нехватки сигналов при обучении с проверяемыми наградами, когда модель выдает однотипные результаты, и позволяет эффективно дистиллировать знания внутри одной архитектуры без использования внешних промптов.
Новый метод вариационного обучения для исследования параметров в RLVR
Исследователи представили новый подход к обучению с подкреплением на основе верификации (RLVR) для больших языковых моделей. Метод использует вариационное обучение для управления исследованием пространства параметров, что позволяет эффективнее оптимизировать модели по сравнению с традиционным масштабированием температуры. Подход обеспечивает более гибкую настройку стратегий обучения, напрямую влияя на итоговое качество генерации моделей.
Применение архитектуры DETR для диагностики рака молочной железы
Исследователи адаптировали архитектуру DETR для решения задач маммографии, объединив классификацию злокачественности на уровне всего снимка и локализацию пораженных участков. Использование современных «бэкбонов» в рамках мультизадачного обучения позволило модели эффективно извлекать общие признаки, что повышает точность диагностики и интерпретируемость результатов для врачей при анализе сложных клинических случаев.
AirFlow: новая архитектура нейросетей для прогнозирования качества воздуха
Исследователи представили AirFlow — специализированную архитектуру нейронных сетей, предназначенную для точного прогнозирования уровня загрязнения воздуха. Модель решает проблему учета разнородных данных, объединяя методы сохранения контекста и многоуровневого моделирования состояний. Это позволяет эффективно обрабатывать как долгосрочные циклические зависимости, так и резкие скачки концентрации загрязняющих веществ, превосходя существующие подходы в задачах городского экологического мониторинга.
Новый метод C2A для точной классификации патологий на рентгеновских снимках
Исследователи представили метод C$^2$A (Co-occurrence Aware Class Attention), который повышает точность многоклассовой диагностики грудной клетки. В отличие от стандартных моделей, использующих общие дескрипторы, C$^2$A связывает пространственные признаки с клиническими знаниями о закономерностях совместного появления патологий. Это позволяет системе эффективнее интерпретировать локализацию заболеваний и учитывать их взаимосвязи при анализе медицинских изображений.
ReliableNet: новый подход к снижению ошибок самоуверенных моделей
Исследователи представили ReliableNet — метод, направленный на устранение критической проблемы глубокого обучения, когда модель выдает ошибочный прогноз с высокой степенью уверенности. В отличие от стандартной минимизации эмпирического риска, новый подход использует вероятностные ограничения для контроля надежности классификации, позволяя системе автоматически воздерживаться от ответов в ситуациях, где риск ошибки превышает заданный порог.
GO-MUON: новый метод оптимизации нейронных сетей второго порядка
Исследователи представили алгоритм GO-MUON, который совершенствует метод Muon для обучения нейронных сетей. Новый подход объединяет спектральную геометрию и кривизну, позволяя эффективно использовать данные для обновления весов. Метод решает задачу взвешенного спектрального оракула, обеспечивая более точную и стабильную сходимость при обучении моделей по сравнению с классическими итеративными подходами первого порядка.
Метод SR-OPSD для улучшения обучения языковых моделей с подкреплением
Исследователи представили метод SR-OPSD (Self-Referenced On-Policy Self-Distillation), который оптимизирует обучение моделей через плотное токенизированное руководство. В отличие от стандартных подходов, использующих внешние сигналы или усредненные копии весов, новый метод опирается на самореферентное обучение, что позволяет эффективнее использовать разреженные награды и повышать качество генерации текста при работе с RL-алгоритмами.
Использование выпуклых нейросетей для оптимизации математических моделей
Исследователи представили метод использования входных выпуклых нейронных сетей (ICNN) в качестве суррогатных моделей для задач математической оптимизации. В отличие от стандартных полносвязных сетей с ReLU-активацией, требующих сложных переформулировок в рамках смешанно-целочисленного программирования (MIP), архитектура ICNN обеспечивает выпуклость функции, что значительно упрощает процесс поиска глобального оптимума и повышает вычислительную эффективность при масштабировании моделей.
Новый метод борьбы с дисбалансом классов в состязательном обучении
Исследователи представили метод Confusion-Geometry Rebalancing (CGR) для улучшения состязательного обучения (adversarial training) в условиях несбалансированных данных. Авторы решают проблему двойного дисбаланса, при котором модель отдает предпочтение доминирующим классам, а состязательные атаки дополнительно усиливают эту предвзятость. Новый подход позволяет более эффективно выравнивать точность распознавания между редкими и частыми классами при сохранении устойчивости к атакам.
FedOrbit: адаптивное федеративное обучение для спутниковых группировок LEO
Исследователи представили FedOrbit — новый метод федеративного обучения, оптимизированный для работы в условиях спутниковых группировок на низкой околоземной орбите (LEO). Алгоритм решает проблему неоднородности данных (non-IID) и нестабильной связи с наземными станциями, возникающих из-за орбитальной геометрии, обеспечивая баланс между глобальной агрегацией знаний и локальной персонализацией моделей для каждого спутника.
Оптимизация параллельной генерации в рекомендательных системах
Исследователи представили метод адаптивного распределения семантической емкости (ASCA) для параллельных генеративных рекомендательных систем. Новый подход решает проблему ограничений авторегрессионных моделей, связанных с затратным поиском по лучу (beam search). Вместо последовательного прогнозирования токенов система генерирует их параллельно, что позволяет использовать более длинные и гибкие идентификаторы объектов без потери производительности и точности предсказаний.
Использование глубокого обучения для восстановления пропущенных данных о тропических циклонах
Исследователи применили методы глубокого обучения для восстановления пропущенных значений радиуса максимальных ветров (Rmax) в исторических данных о тропических циклонах. Использование 1D-сверточных нейронных сетей и архитектур LSTM позволило повысить точность заполнения пробелов в наборах данных, что критически важно для оценки рисков прибрежных зон и проведения вероятностного анализа опасных погодных явлений.
Новый метод обучения систем управления движением с предиктивным фильтром безопасности
Исследователи представили новый метод обучения систем управления динамикой транспортных средств, сочетающий обучение по программе (curriculum learning) с предиктивным фильтром безопасности. Подход позволяет ИИ-агентам эффективно осваивать сложные маневры, сохраняя при этом строгие гарантии безопасности и устойчивости, что критически важно для автономного вождения в условиях динамически меняющейся среды и высоких скоростей.
Метод DUET ускоряет генерацию видео через дистилляцию диффузионных моделей
Исследователи представили метод DUET, решающий проблему баланса между качеством и разнообразием при ускоренной генерации видео. Новый подход объединяет траекторную и дистрибутивную дистилляцию, позволяя сократить количество шагов выборки без потери визуальной точности. Это делает современные диффузионные модели более пригодными для практического применения, существенно снижая вычислительные затраты на инференс при сохранении высокой вариативности контента.
Ограничения LoRA при адаптации фундаментальных моделей для защиты от атак на распознавание лиц
Исследователи проанализировали эффективность адаптации фундаментальных моделей (FM) для задач обнаружения атак на системы распознавания лиц (PAD). Выяснилось, что популярный метод LoRA (Low-Rank Adaptation) недостаточен для обеспечения устойчивости моделей при смене условий съемки или сенсоров. В кросс-датасетных тестах точность систем падает с почти идеальной до случайной, что указывает на критические пробелы в текущих подходах к дообучению.