arXiv · 18.06.2026 ·Машинное обучение

Новый датасет CATCH-ME для борьбы с ненавистью и дезинформацией в ИИ

Исследователи представили датасет CATCH-ME (Contextually Annotated multi-Turn Counterspeech), предназначенный для улучшения навыков языковых моделей в противодействии враждебным высказываниям и дезинформации. Проблема текущих систем заключается в том, что при работе в режиме zero-shot модели часто выдают шаблонные, расплывчатые или повторяющиеся ответы, которые неэффективны в реальных диалогах. Новый набор данных сфокусирован на многоходовых контекстных ответах, что позволяет лучше обучать ИИ-агентов вести аргументированную дискуссию.

Датасет объединяет две критические области, которые ранее в NLP-исследованиях рассматривались раздельно: борьбу с hate speech и опровержение недостоверной информации. Авторы подчеркивают, что эти явления часто пересекаются в онлайн-пространстве, поэтому для создания качественных систем модерации необходим комплексный подход. CATCH-ME содержит размеченные примеры диалогов, где ИИ должен не просто распознать токсичность, но и выстроить последовательную линию контраргументации.

Использование этого датасета поможет разработчикам систем модерации и RAG-решений повысить точность генерации ответов. Вместо общих фраз модели смогут опираться на качественные примеры ведения дискуссии, что критически важно для автоматизированных систем безопасности. Работа открывает возможности для создания более адаптивных инструментов, способных эффективно реагировать на сложные социальные вызовы в цифровой среде.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый датасет для обнаружения кибератак с метками ATT&CK Исследователи представили новый датасет для обнаружения многоэтапных кибератак, который включает логи систем, сетей и браузеров. Существующие публичные датасеты, такие как CICIDS и UNSW-NB15, охватывают только сетевую активность, в то время как другие, например LMDG, фокусируются на хост-активности. Hacker News · Инфраструктура для агентов Anti-slopping: метод для борьбы с шаблонными ответами ЛЛМ Исследователи из Thoughtworks представили метод Anti-slopping, направленный на устранение шаблонных и банальных ответов, которые часто генерируют языковые модели. Проблема «сопливых» (sloppy) ответов — это распространённая жалоба пользователей ИИ-агентов, особенно в контексте чат-ботов и виртуальных ассистентов. Anti-slopping предлагает алгоритмический подход для выявления и исправления таких шаблонных фраз, что может значительно повысить качество взаимодействия с ИИ-агентами. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. arXiv · Обучение и дообучение Новый датасет для улучшения аудио-языковых моделей Исследователи представили AudioDER — новый датасет, предназначенный для улучшения способностей аудио-языковых моделей (LALMs) к сложному аудио-рассуждению. LALMs уже демонстрируют высокие результаты в различных задачах понимания аудио, но их возможности в области сложного анализа и интерпретации звуковых данных остаются ограниченными. arXiv · Оценка и бенчмарки MetaSyn: новый датасет для тестирования ИИ-агентов на мета-анализах Исследователи представили новый датасет MetaSyn, предназначенный для оценки способностей ИИ-агентов проводить мета-анализ — сложный процесс синтеза данных, включающий поиск литературы, отбор исследований и статистический анализ. Этот процесс требует системного и проверяемого подхода, что делает его идеальным для тестирования научного мышления агентов. arXiv · Безопасность и алайнмент Исследование влияния примеров на поведение безопасных LLM Исследователи проанализировали, как модели с настроенными механизмами безопасности реагируют на смешанные примеры в контекстном обучении. В ходе эксперимента в промпты добавляли как безобидные диалоги, так и демонстрации выполнения вредоносных запросов. Цель работы — понять, как именно нейросети интерпретируют противоречивые инструкции и в какой момент «безопасное» поведение начинает уступать место выполнению опасных команд. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Инфраструктура для агентов Новый метод переранжирования ответов для NQA Исследователи предложили метод переранжирования ответов на основе самосогласованности для задачи narrative question answering (NQA). Эта задача требует от моделей понимания длинных текстов, выявления связей между событиями и генерации связных ответов. Hacker News · Обучение и дообучение Новые датасеты для ML-исследований от ArXiv и Semantic Scholar Команда FineSet.io выпустила набор датасетов, собранных из ArXiv и Semantic Scholar. Эти датасеты представлены в формате JSONL и содержат оценки качества, что делает их полезными для исследователей и разработчиков в области машинного обучения. Hacker News · Память и RAG Рекурсивные языковые модели и нейросимволическое управление контекстом Исследователи предлагают новый подход к управлению контекстом в ИИ-агентах, сочетающий рекурсивные языковые модели и нейросимволические методы. Этот метод позволяет более эффективно обрабатывать и хранить информацию, что критически важно для построения сложных агентов.

← Все материалы