arXiv · 11.06.2026 ·Оптимизация ансамблей моделей

Новый метод для эффективной калибровки ансамблей моделей

Исследователи предложили Simplex-Constrained Sparse Bagging (SCSB) — математический фреймворк для пост-обучения ансамблей моделей, таких как Random Forests, Bagged SVMs и Bagged Neural Networks. В традиционных подходах к ансамблированию каждая модель имеет одинаковый вес, что не учитывает их разную точность в разных контекстах.

SCSB позволяет перейти от равномерного распределения весов к более точным, учитывающим вклад каждой модели. Это особенно важно для ИИ-агентов, где точность предсказаний напрямую влияет на качество работы системы. Например, в задачах RAG (Retrieval-Augmented Generation) или оркестрации нескольких моделей, SCSB может помочь оптимизировать выбор и веса моделей для повышения точности.

Авторы подчеркивают, что их метод не только улучшает калибровку вероятностей, но и позволяет сжимать ансамбли, что снижает вычислительные затраты. Это особенно актуально для локального инференса моделей, где ресурсы ограничены. SCSB может быть полезен в разработке ИИ-агентов, где важно балансировать между точностью и производительностью.

Исследование было опубликовано на arXiv и доступно по ссылке: https://arxiv.org/abs/2606.13589v1. Для команды Jarv этот метод может стать важным инструментом в оптимизации ансамблей моделей и повышении эффективности работы агентов.

Источник: arXiv

Похожие материалы

arXiv · Оптимизация работы с моделями кода Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. arXiv · Инференс и обработка изображений ActiveSAM ускоряет сегментацию изображений для ИИ-агентов Исследователи из Meta представили ActiveSAM — метод, который оптимизирует работу Segment Anything Model 3 (SAM 3) для сегментации изображений в задачах с открытым словарём (OVSS). Основная проблема SAM 3 заключается в неэффективности: модель обрабатывает все классы из словаря, хотя в каждом изображении присутствует лишь небольшая их часть. arXiv · Машинное обучение и ядра SPaiK: масштабируемое обучение ядерных методов для парных задач Исследователи представили SPaiK — новый метод обучения ядерных методов, оптимизированный для парных задач. В отличие от традиционных подходов, SPaiK сохраняет выразительную силу ядерных методов, но значительно снижает вычислительные и память. Это особенно важно для задач, где необходимо работать с большими объемами данных, например, в рекомендательных системах или сравнении объектов. arXiv · ИИ-агенты и математические модели Brownian Kernel Ladders: новый подход к иерархическим представлениям Исследователи представили новый метод для построения иерархических представлений в статистическом обучении — Brownian Kernel Ladders (BKLs). Это рекурсивно определённая иерархия интегральных пространств, генерируемых через Brownian-kernel интегральные конструкции. Начиная с линейных функционалов, каждый уровень BKL расширяет пространство функций, сохраняя при этом математически строгую структуру. arXiv · Оркестрация ИИ-агентов Новый подход к маршрутизации множества ИИ-агентов Исследователи из Университета Карнеги-Меллон представили новую работу, посвящённую компиляционным методам в задачах маршрутизации множества агентов (MAPF). В отличие от классических подходов, где все агенты должны достичь заданных целей без столкновений, авторы рассматривают варианты с разными требованиями к агентам. arXiv · Оптимизация моделей MoE Как оптимально обрезать экспертов в моделях MoE Исследователи предложили унифицированный подход к обрезке экспертов в моделях Mixture-of-Experts (MoE), что может существенно снизить память и вычислительные затраты при развёртывании таких моделей. В статье, опубликованной на arXiv, авторы отмечают, что хотя MoE-модели эффективно распределяют вычисления между экспертами, их развёртывание всё равно требует хранения полного пула экспертов. Это создаёт проблемы с памятью, особенно при использовании в агентных системах, где важна эффективность инференса. arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · ИИ-агенты и обработка изображений Использование Segment Anything Model для интерпретации сейсмических данных Исследователи изучили применение Segment Anything Model (SAM) для интерпретации сейсмических данных, что может быть полезно для разработки ИИ-агентов, работающих с визуальной информацией. SAM, разработанный Meta, демонстрирует мощные возможности сегментации изображений на основе подсказок, что делает его перспективным инструментом для анализа сложных данных. Hacker News · Оптимизация вычислений для ИИ-агентов Компиляция алгоритмов матричного умножения в быстрые CUDA-ядра Исследователи представили новый подход к компиляции алгоритмов матричного умножения, основанных на методе Штрассена, в эффективные CUDA-ядра. Это позволяет значительно ускорить вычисления, что особенно важно для задач, связанных с обработкой больших матриц в ИИ-агентах. arXiv · Протоколы для ИИ-агентов Новые протоколы для оценки уверенности в многоагентных системах Исследователи из MIT и Стэнфорда предложили новый подход к оценке уверенности в многоагентных системах. В работе, опубликованной на arXiv, они демонстрируют, как агрегировать сигналы уверенности от нескольких агентов для повышения надежности и прозрачности принятия решений.

← Все материалы