arXiv · 11.06.2026 ·Атрибуция данных в ИИ-моделях

Influcoder: новый метод атрибуции данных для улучшения качества датасетов

Исследователи представили метод Influcoder, который позволяет оценивать влияние отдельных данных на обучение языковых моделей. Это важно для создания качественных датасетов, так как позволяет выявлять и удалять вредоносные или нерелевантные данные.

Influcoder использует метод дистилляции градиентов декодеров для оценки их влияния на энкодер. Это позволяет более точно определять, какие данные в обучающей выборке наиболее значимы для генерации определённых выходов модели.

Для разработчиков ИИ-агентов, таких как Jarv, этот метод может быть полезен при создании и улучшении датасетов для обучения моделей. Качественные датасеты являются ключевым фактором в повышении точности и эффективности ИИ-агентов.

Исследование было опубликовано на arXiv и доступно по ссылке: https://arxiv.org/abs/2606.13668v1. Это ещё один шаг в направлении более прозрачного и контролируемого обучения языковых моделей.

Источник: arXiv

Похожие материалы

arXiv · Обучение аудио-языковых моделей Новый датасет для улучшения аудио-языковых моделей Исследователи представили AudioDER — новый датасет, предназначенный для улучшения способностей аудио-языковых моделей (LALMs) к сложному аудио-рассуждению. LALMs уже демонстрируют высокие результаты в различных задачах понимания аудио, но их возможности в области сложного анализа и интерпретации звуковых данных остаются ограниченными. arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. NVIDIA Technical Blog · ИИ-агенты и федеративное обучение NVIDIA FLARE Auto-FL ускоряет исследования федеративного обучения с помощью ИИ-агентов NVIDIA представила новую систему Auto-FL в рамках своего фреймворка Federated Learning and Analytics Research (FLARE). Эта система использует ИИ-агентов для автоматизации и ускорения исследований в области федеративного обучения (FL). Федеративное обучение позволяет обучать модели на распределённых данных без их централизации, что особенно важно для задач, связанных с конфиденциальностью и безопасностью данных. arXiv · Обучение и генерализация в ИИ-агентах Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · Оптимизация декодирования в ИИ-агентах Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. Hacker News · Отладка данных для ИИ-агентов Predictive Data Debugging: отладка данных до обучения модели Команда Goodfire.ai представила подход Predictive Data Debugging, который позволяет выявлять и корректировать проблемы в данных до обучения модели. Это особенно важно для разработчиков ИИ-агентов, так как качество данных напрямую влияет на эффективность и надежность агентов. Lobsters · Исследования ИИ и поведение ИИ-модели передают поведенческие черты через скрытые сигналы в данных Недавнее исследование, опубликованное в журнале Nature, показало, что языковые модели могут передавать поведенческие черты через скрытые сигналы в данных. Ученые обнаружили, что модели, обученные на данных, содержащих определенные поведенческие паттерны, могут воспроизводить эти паттерны даже в новых, ранее не встречавшихся контекстах. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. arXiv · Синтетические данные и аудит Фреймворк для аудита синтетических данных Исследователи из MIT и других ведущих университетов представили новый фреймворк для аудита синтетических данных, генерируемых с помощью ИИ. В работе, опубликованной на arXiv, авторы предлагают каузальный подход к выявлению утечек конфиденциальной информации в синтетических наборах данных. arXiv · Интерпретируемость ИИ-агентов LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки.

← Все материалы