Машинное обучение
Deep4ge: новый датасет для отладки обучения нейронных сетей
Исследователи представили Deep4ge — открытый набор данных, содержащий траектории обучения глубоких нейронных сетей с задокументированными программными ошибками. Проект направлен на решение проблемы скрытых дефектов реализации, которые искажают процесс обучения. Датасет предоставляет детальную историю изменений по эпохам, что позволяет разработчикам и исследователям эффективнее диагностировать сбои и повышать надежность моделей в процессе их тренировки.
Новый фреймворк для автономного сопровождения целей беспилотниками
Исследователи представили унифицированную систему управления для беспилотных летательных аппаратов самолетного типа, оснащенных поворотно-наклонными камерами. Разработка позволяет дронам выполнять полный цикл миссии: от первичного обнаружения движущейся цели до точного наведения на нее. Система объединяет методы компьютерного зрения и нелинейного прогнозного управления, обеспечивая стабильное сопровождение объекта в динамических условиях без участия оператора.
AVQ-Attention: новый метод оптимизации внимания в трансформерах
Исследователи представили AVQ-Attention — метод адаптивного векторного квантования для механизмов внимания в трансформерах. В отличие от стандартных подходов, равномерно распределяющих вычислительные ресурсы, этот алгоритм динамически перераспределяет емкость кодовой книги. Это позволяет эффективнее обрабатывать области с высокой концентрацией внимания, снижая вычислительную сложность с квадратичной до линейной относительно длины последовательности при сохранении точности модели.
Ускорение сценарного модельного предиктивного управления с помощью машинного обучения
Исследователи представили новый метод ускорения сценарного модельного предиктивного управления (SBMPC), который позволяет преодолеть проблему высокой вычислительной сложности при работе с неопределенностью. Интеграция методов машинного обучения в процесс оптимизации сценариев дает возможность выполнять планирование и управление в реальном времени, значительно сокращая временные затраты на вычисления по сравнению с классическими подходами.
Команда HSEmotion представила методы распознавания эмоций на 11-м конкурсе ABAW
Команда HSEmotion опубликовала результаты участия в 11-м соревновании Affective Behavior Analysis in-the-Wild (ABAW). Исследователи применили архитектуры MT-EmotiDDAMFN и MT-EmotiEffNet-B0 для одновременного предсказания валентности, возбуждения, выражений лица и действий на датасете s-Aff-Wild2. Использование замороженных легковесных экстракторов признаков в сочетании с многозадачным обучением позволило эффективно классифицировать сложные эмоциональные состояния, включая амбивалентность и нерешительность.
Метод агрегации с учетом ограничений для федеративного обучения в энергетике
Исследователи представили новый метод агрегации для федеративного обучения с подкреплением (FedRL), предназначенный для координации распределенных энергоресурсов. В отличие от классического алгоритма FedAvg, предложенный подход учитывает системные ограничения, что позволяет избежать небезопасного глобального поведения моделей при управлении микросетями без необходимости обмена конфиденциальными локальными данными между участниками сети.
Автоматизация поиска молочных ферм на спутниковых снимках с помощью слабого обучения
Исследователи представили метод слабого обучения для обнаружения молочных ферм на спутниковых снимках. Решение переводит задачу в плоскость пространственно-временного ранжирования кандидатов, что позволяет обходить проблему неполной разметки данных. Алгоритм анализирует совокупность признаков, включая границы полей, дорожную сеть, инфраструктурные объекты и сезонную динамику растительности, обеспечивая высокую точность идентификации сельскохозяйственных площадок без необходимости в сплошной ручной разметке.
Гайд по распределенному обучению глубоких нейронных сетей
Фундаментальный обзор методов распределенного обучения глубоких нейронных сетей систематизирует подходы к масштабированию вычислительных процессов. В работе анализируются стратегии параллелизма данных и моделей, а также механизмы синхронизации, позволяющие эффективно использовать кластеры GPU для тренировки архитектур, требующих огромных вычислительных мощностей. Материал служит базовым справочником для понимания архитектурных ограничений и способов их преодоления при работе с крупными моделями.
История и эволюция метода дистилляции моделей в ИИ
Дистилляция моделей стала ключевым методом оптимизации нейросетей, позволяющим переносить знания от крупных «учителей» к компактным «ученикам». Этот подход значительно сокращает вычислительные затраты при сохранении высокой точности предсказаний. В последние годы техника эволюционировала от классических архитектур до современных методов сжатия больших языковых моделей, становясь стандартом для эффективного инференса в продакшене.
Метод сбора токенов для улучшения обучения ИИ-агентов с подкреплением
Исследователи Amazon представили новый подход к обучению ИИ-агентов, основанный на фиксации идентификаторов токенов в процессе их взаимодействия со средой. Метод позволяет более эффективно использовать обучение с подкреплением (RL), преобразуя последовательности действий в структурированные данные. Это помогает моделям точнее оценивать качество принятых решений и быстрее адаптироваться к сложным задачам в динамических условиях.
Обучение моделей на основе опыта вместо кураторских датасетов
Исследователи предлагают сменить парадигму обучения нейросетей, переходя от статичных размеченных датасетов к обучению на основе «опыта» в интерактивной среде. Такой подход позволяет моделям самостоятельно исследовать пространство решений, минимизируя зависимость от дорогостоящей ручной разметки данных и повышая адаптивность алгоритмов к непредсказуемым сценариям, с которыми они сталкиваются в процессе реальной эксплуатации.
J-Space: новый метод интерпретации скрытых состояний LLM
Исследователи представили J-Space — подход к анализу внутреннего пространства состояний больших языковых моделей. Метод позволяет сопоставлять скрытые представления модели с конкретными концептами и логическими структурами, что делает «черный ящик» нейросетей более прозрачным. Это открывает новые возможности для отладки моделей, контроля их поведения и глубокого понимания того, как именно LLM формируют свои ответы на основе входных данных.
Законы масштабирования для обучения с учетом квантования
Исследователи представили новые законы масштабирования (Scaling Laws), описывающие зависимость точности нейросетей от параметров при использовании обучения с учетом квантования (QAT). Работа доказывает, что при правильном подходе потери от снижения битности весов можно минимизировать, сохраняя предсказуемую производительность модели, что критически важно для эффективного развертывания LLM на устройствах с ограниченными вычислительными ресурсами.
Requential Coding: новый метод сжатия нейросетей через генерацию данных
Исследователи представили метод Requential Coding, который радикально меняет подход к сжатию нейронных сетей. Вместо стандартной квантизации авторы используют самогенерируемые данные для поиска более компактных представлений функций модели. Этот подход позволяет достичь высокой точности при значительно меньшем количестве параметров, выявляя скрытые закономерности в обучающей выборке, которые ранее оставались неиспользованными при традиционном сжатии.
Новый метод поиска архитектур нейросетей на потребительском железе
Исследователи представили фреймворк для автоматизированного поиска архитектур нейросетей (NAS), который значительно снижает требования к вычислительным ресурсам. Метод объединяет авторегрессионные трансформеры с алгоритмами роевого интеллекта, позволяя проектировать эффективные модели на обычном потребительском оборудовании. Это решение делает процесс разработки архитектур доступным для широкого круга специалистов, исключая необходимость в тысячах GPU-дней для обучения.
Улучшение акустического восприятия в аудио-языковых моделях через активацию нейронов
Исследователи представили метод повышения точности распознавания несемантических признаков речи в крупных аудио-языковых моделях (LALM). Вместо дорогостоящего дообучения авторы предложили технику идентификации и усиления специфических нейронов на стороне энкодера. Это позволяет модели точнее определять эмоции и другие тонкие характеристики звука, сохраняя при этом высокую эффективность обработки основного текстового содержания аудиозаписей.
HiFi-LLP: новый метод предсказания задержки нейросетей для оптимизации под железо
Исследователи представили HiFi-LLP — высокоточный и экономичный метод прогнозирования задержки нейронных сетей при их развертывании на периферийных устройствах. Решение позволяет значительно ускорить поиск оптимальных архитектур (HW-NAS), заменяя ресурсоемкие прямые измерения на аппаратном обеспечении быстрой оценкой с высокой степенью достоверности, что критически важно для эффективной оптимизации моделей под конкретное «железо».
Верификация криптографического кода на Rust в проекте SymCrypt
Microsoft Research представила новый метод верификации криптографического кода, написанного на языке Rust в рамках библиотеки SymCrypt. Подход позволяет автоматически проверять соответствие реализации стандартам безопасности непосредственно в процессе разработки. Это решение обеспечивает высокую скорость выполнения и гибкость кода, позволяя адаптировать алгоритмы к изменениям без потери надежности и производительности системы.
Модель STEP для прогнозирования карьерных траекторий на основе данных резюме
Исследователи представили модель STEP (Sequential Trajectory and Educational Path), предназначенную для анализа и прогнозирования профессионального развития. Система использует данные из неструктурированных резюме, учитывая временную последовательность смены ролей, накопление навыков и образовательный бэкграунд. Разработка позволяет автоматизировать рекомендации по карьерному росту и улучшить инструменты планирования рабочей силы на уровне крупных организаций и рынков труда.
Новый подход к обучению с подкреплением: от офлайн-данных к онлайн-взаимодействию
Исследователи представили метод Active Offline-to-Online Reinforcement Learning (O2O-RL), оптимизирующий переход от обучения на статических наборах данных к активному взаимодействию со средой. Новый подход позволяет эффективно дообучать модели в динамических условиях, где прямое взаимодействие с системой требует высоких затрат или сопряжено с рисками, обеспечивая более стабильную адаптацию агентов к меняющимся задачам.
Оценка вероятности редких событий с помощью управляемых генеративных моделей
Исследователи NVIDIA представили метод оценки вероятности экстремальных, но маловероятных событий, используя управляемые генеративные модели. Традиционные методы симуляции часто не справляются с редкими сценариями в финансах, инженерии и науке. Новый подход позволяет направлять генерацию данных в области «хвостов» распределения, что значительно повышает точность прогнозирования рисков без необходимости проведения миллиардов вычислительно затратных симуляций.
Обучение специализированной LLM для сейсмологии с нуля
Исследователь представил специализированную языковую модель объемом 113 миллионов параметров, обученную с нуля для анализа сейсмических данных. Проект демонстрирует эффективность использования архитектуры трансформеров в узкоспециализированных научных задачах, где требуется обработка временных рядов и специфических сигналов земной коры, что открывает новые возможности для автоматизации мониторинга сейсмической активности и прогнозирования природных явлений.
NeuroVFM: новая фундаментальная модель для анализа медицинских изображений
Исследователи из Мичиганского университета представили NeuroVFM — универсальную фундаментальную модель для нейровизуализации. Она обучена на 5,24 млн клинических снимков МРТ и КТ с использованием архитектуры Vol-JEPA. Модель способна распознавать анатомические структуры мозга и патологии без необходимости в предварительной разметке радиологами, что значительно упрощает обработку больших объемов неструктурированных медицинских данных.
Новый алгоритм Bandit PCA достигает минимаксной оптимальности по регрету
Исследователи представили новый подход к задаче Bandit PCA, где агент должен максимизировать вознаграждение в условиях ограниченной обратной связи. Авторы разработали алгоритм, достигающий минимаксной оптимальности по регрету, что решает давнюю проблему в онлайн-обучении. Работа предлагает теоретически обоснованное решение для задач с неполной информацией, где доступен только скалярный сигнал вознаграждения без прямого наблюдения матрицы признаков.