Машинное обучение
Сжатие данных с помощью переобученного трансформера
Исследователи продемонстрировали необычный метод сжатия данных, используя архитектуру трансформера. В ходе эксперимента модель объемом 900 КБ была целенаправленно переобучена (overfitted) на конкретном наборе данных — CSV-файле размером 100 МБ. В результате удалось достичь высокой степени компрессии, сократив исходный объем информации до 7 МБ.
Принципы вывода типов записей в функциональном программировании
В статье рассматриваются фундаментальные механизмы вывода типов записей, которые лежат в основе современных систем типизации, используемых при разработке сложных программных архитектур. Автор подробно разбирает, как компиляторы автоматически определяют структуру данных, минимизируя необходимость ручного аннотирования типов в коде.
Метод декомпозиции задач для повышения эффективности разметки данных
Исследователи представили новый подход к разметке структурированных данных, основанный на декомпозиции сложных задач на более простые подзадачи. Метод позволяет значительно снизить затраты на создание качественных обучающих выборок, минимизируя необходимость в дорогостоящей ручной проверке результатов, полученных с помощью моделей, и повышая общую точность разметки для последующего обучения downstream-моделей.
FlowPipe: автоматизация пайплайнов подготовки данных с помощью GFlowNets и LLM
Исследователи представили FlowPipe — новый метод автоматического построения пайплайнов подготовки данных для машинного обучения. Система объединяет генеративные потоковые сети (GFlowNets) с возможностями LLM для навигации в сложном комбинаторном пространстве операторов очистки и трансформации. Подход позволяет эффективно находить оптимальные последовательности преобразований, минимизируя затраты на дорогостоящую оценку качества данных на каждом этапе обучения модели.
QC-SMOTE: новый метод борьбы с дисбалансом классов в данных
Исследователи представили QC-SMOTE — фреймворк для борьбы с дисбалансом классов, который улучшает классический метод SMOTE за счет контроля качества синтетических данных. В отличие от стандартных подходов, алгоритм оценивает надежность миноритарных примеров, используя метрику доверия к окрестности, что позволяет избежать генерации шума в зонах перекрытия классов и повысить точность моделей классификации.
Themis: фреймворк для интерпретируемого обучения с подкреплением на основе отзывов людей
Исследователи представили Themis — новый фреймворк для обучения с подкреплением (RLHF), объединяющий прозрачность объяснимого ИИ (XAI) и механизмы обратной связи от человека. Система направлена на решение проблемы непредсказуемого поведения моделей, позволяя разработчикам не только корректировать действия агентов, но и понимать логику принятия решений, что критически важно для создания безопасных и контролируемых автономных систем.
ScaleToT: новый метод масштабируемого моделирования пользователей через LLM
Исследователи представили ScaleToT — метод структурированного рассуждения для LLM, позволяющий эффективно моделировать поведение миллиардов пользователей с низкой активностью. Решение преодолевает проблему нехватки данных в профилях и высокую стоимость инференса, используя иерархический подход к генерации выводов о скрытых состояниях пользователей, что делает персонализацию доступной для массовых сервисов без колоссальных затрат на вычисления.
Метод ASALT для адаптивного переноса знаний в мультиагентном обучении с подкреплением
Исследователи представили ASALT — новый подход к обучению с подкреплением для нескольких агентов (MARL), решающий проблему переноса знаний между различными средами. В отличие от существующих методов, требующих идентичности размерностей пространств состояний и наблюдений, ASALT позволяет эффективно адаптировать стратегии агентов при изменении конфигурации среды, обеспечивая гибкость в задачах с разным количеством участников или параметрами окружения.
EERLoss: новый метод оптимизации глубоких моделей для биометрии
Исследователи представили EERLoss — новую функцию потерь, разработанную для прямого обучения глубоких биометрических моделей. В отличие от традиционных подходов, которые оптимизируют косвенные показатели, EERLoss является субдифференцируемой аппроксимацией Equal Error Rate (EER). Это позволяет минимизировать разрыв между процессом обучения нейросети и итоговой метрикой качества, что критически важно для задач верификации пользователей по динамике нажатия клавиш.
Адаптивный ML-фреймворк для оптимизации траекторий БПЛА в сетях 6G
Исследователи представили адаптивный фреймворк машинного обучения, предназначенный для оптимизации траекторий беспилотных летательных аппаратов (БПЛА), выполняющих роль открытых радиомодулей (O-RU) в сетях 6G. Решение позволяет дронам эффективно адаптироваться к динамическим условиям среды без необходимости полного переобучения моделей при смене сценариев, что критически важно для обеспечения стабильного покрытия в масштабируемых сотовых сетях будущего.
Метод Zero Weights Language Model для оптимизации весов нейросетей
Исследователи представили метод MSE-GLM (Mean Squared Error General Language Model), направленный на радикальное сокращение количества активных параметров в языковых моделях. Основная идея заключается в принудительном обнулении весов, которые вносят минимальный вклад в итоговый результат предсказания, без существенной потери точности модели. Этот подход позволяет значительно уменьшить размер итоговых файлов весов, упрощая хранение и ускоряя загрузку нейросетей.
Разработчики ИИ всё чаще используют синтетические данные от других моделей
Исследователи фиксируют массовый переход к использованию синтетических данных при обучении новых нейросетей. Разработчики всё чаще делегируют создание обучающих выборок существующим чат-ботам, таким как GPT-4 или Claude, вместо сбора и разметки данных вручную. Этот подход позволяет значительно ускорить процесс подготовки моделей и снизить затраты на привлечение человеческого труда.
Оптимизация LLM для ускорения генерации программного кода
Исследователи представили методы оптимизации языковых моделей, направленные на повышение скорости генерации программного кода. Основная проблема при работе с кодом заключается в высокой вычислительной сложности инференса, так как структура синтаксиса требует точного предсказания длинных последовательностей токенов. Авторы работы анализируют влияние различных архитектурных решений на задержку (latency) и пропускную способность при выполнении задач программирования.
AutoDex: автоматизированный сбор данных для обучения робототехники
Исследователи представили систему AutoDex, предназначенную для автоматизированного сбора данных при обучении роботов навыкам ловкого захвата объектов. Основная проблема существующих методов заключается в сложности получения качественных физических данных: телеуправление требует участия человека и ограничено по скорости, а симуляции часто не способны точно подтвердить корректность контакта с предметом в реальных условиях.
Новый метод оптимизации вычислений для медленно меняющихся последовательностей
Исследователи предложили новый подход к аппроксимации функций в последовательностях, где значения элементов изменяются незначительно от шага к шагу. В таких задачах разница между соседними элементами остается малой, что позволяет оптимизировать вычислительные затраты при обработке данных. Авторы работы опираются на методы неявной оценки следа (implicit trace estimation), которые позволяют эффективно переиспользовать результаты запросов к предыдущим элементам последовательности.
Новый метод обучения с подкреплением для задач с разреженными наградами
Исследователи представили метод Success Visitation Matching, решающий проблему неэффективного обучения моделей в условиях разреженных наград. В стандартных сценариях обучения с подкреплением агент получает сигнал о полезности действия только при достижении конечной цели, что делает процесс поиска оптимальной стратегии крайне медленным и нестабильным. Новый подход позволяет модели лучше распределять кредит за промежуточные действия, опираясь на вероятность посещения состояний, ведущих к успеху.
Новый взгляд на оптимизатор Muown для обучения трансформеров
Исследователи проанализировали математические принципы работы оптимизатора Muown, который активно применяется для предварительного обучения трансформеров. Этот метод разделяет весовые матрицы на два компонента: амплитуды строк и ненормализованное направление. Для обновления амплитуд используется алгоритм Adam, а для направления — оптимизатор Muon. Такая архитектура позволяет эффективно управлять процессом обучения, обеспечивая высокую стабильность и скорость сходимости моделей.
Итеративная самофильтрация данных для обучения мультимодальных моделей
Качество обучающих выборок остается критическим фактором при создании эффективных мультимодальных нейросетей. В условиях работы с массивами данных гигантского объема ручная проверка становится невозможной, что приводит к накоплению значительного количества «шумных» и нерелевантных примеров. Традиционные методы очистки данных, основанные на эвристиках или использовании сторонних предобученных моделей, часто оказываются недостаточно гибкими или требуют больших вычислительных затрат.
Новый метод выявления скрытых групп данных для повышения точности моделей
Исследователи представили новый подход к решению проблемы ложных корреляций в машинном обучении. Современные модели часто показывают высокую среднюю точность, но допускают критические ошибки на недостаточно представленных подгруппах данных. Традиционные методы борьбы с этим явлением обычно требуют либо предварительной разметки подгрупп, либо использования псевдометок, которые не дают интерпретируемого результата на этапе инференса.
Новый метод масштабируемого слияния предобученных трансформеров
Исследователи представили фреймворк, позволяющий эффективно объединять веса независимо обученных нейронных сетей через линейную связность мод (Linear Mode Connectivity, LMC). Ранее подобные методы были ограничены в масштабируемости, так как оптимизация пути интерполяции проводилась только от одной конечной точки модели. Новый подход снимает эти ограничения, позволяя применять слияние к крупным предобученным трансформерам с миллиардами параметров.
Многоцелевое обучение с подкреплением для здорового питания
Исследователи представили метод MORL-A2C, направленный на улучшение рекомендательных систем в сфере питания. Традиционные алгоритмы часто фокусируются исключительно на предпочтениях пользователя, что может приводить к выбору менее полезных продуктов. Новый подход интегрирует многоцелевое обучение с подкреплением (Multi-Objective Reinforcement Learning) для балансировки между интересами потребителя и нутрициологической ценностью рациона.
Метод SPIRAL для улучшения логических рассуждений языковых моделей
Исследователи представили метод SPIRAL, направленный на повышение качества логических рассуждений языковых моделей на этапе инференса. Текущие подходы к дообучению моделей фокусируются преимущественно на последовательном построении цепочки рассуждений в рамках одного прохода. Новый подход предлагает использовать специальные каркасы (scaffolds), которые масштабируют вычислительные ресурсы за счет комбинирования различных примитивов: последовательного вывода, параллельной генерации независимых вариантов рассуждений и последующей агрегации этих данных в итоговый ответ.
Полиномиальные KAN упрощают обучение нейросетей сложным динамическим системам
Исследователи представили новый подход к архитектуре нейронных сетей, основанный на использовании полиномиальных сетей Колмогорова-Арнольда (KAN). В работе анализируется проблема обучения нейросетей динамике «Игры жизни» Конвея — классического клеточного автомата, где стандартные архитектуры часто сталкиваются с трудностями при поиске оптимальных параметров. Авторы показывают, что выбор функции активации является критическим фактором, определяющим способность модели эффективно аппроксимировать правила системы.
Релиз модели PP-OCRv6 с поддержкой 50 языков
Команда PaddlePaddle представила шестую версию системы оптического распознавания символов PP-OCRv6. Обновленная архитектура демонстрирует значительный прогресс в эффективности: размер моделей варьируется от компактных 1,5 млн до производительных 34,5 млн параметров. Такой диапазон позволяет развертывать систему как на мобильных устройствах с ограниченными ресурсами, так и на мощных серверных мощностях для высоконагруженных задач.