arXiv · 28.06.2026 ·Оценка и бенчмарки

KrishokChat: бенчмарк и датасет для аграрного ИИ на бенгальском языке

Исследователи представили KrishokChat — первый специализированный датасет и бенчмарк для обучения моделей в сфере сельского хозяйства на бенгальском языке. Проект ориентирован на работу в условиях ограниченных ресурсов и обеспечивает высокую точность ответов за счет строгой привязки к верифицированным источникам. Система включает 290 иерархических узлов знаний, извлеченных из 129 профильных аграрных руководств, что минимизирует риск галлюцинаций.

Разработка решает проблему нехватки качественных данных для обучения LLM в узкоспециализированных доменах, где критически важна точность рекомендаций. В отличие от стандартных наборов данных, каждый пример в KrishokChat содержит прямую ссылку на первоисточник, что позволяет моделям аргументировать советы по борьбе с болезнями культур, выбору химикатов и методам ведения хозяйства.

Создание подобных датасетов является важным шагом для внедрения экспертных ИИ-систем в развивающихся регионах. Использование иерархической структуры знаний позволяет моделям лучше понимать взаимосвязи между симптомами заболеваний растений и конкретными протоколами лечения, обеспечивая поддержку принятия решений для фермеров на их родном языке.

Ключевые факты

Датасет содержит 290 иерархических узлов знаний, охватывающих симптомы болезней и методы ухода за культурами.
В основу легли 129 профильных сельскохозяйственных руководств, прошедших экспертную фильтрацию.
Каждая обучающая запись снабжена верифицированной цитатой из исходного документа для обеспечения прозрачности ответов.
Проект нацелен на преодоление дефицита данных для обучения моделей в условиях низкоресурсных языков.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Память и RAG Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. arXiv · Машинное обучение L3Cube-MahaPOS: новый датасет и BERT-модели для маратхи Исследователи представили L3Cube-MahaPOS — специализированный набор данных для морфологической разметки (POS-tagging) языка маратхи, на котором обучались новые модели семейства BERT. Проект направлен на устранение дефицита ресурсов для одного из самых распространенных языков мира, на котором говорят более 83 миллионов человек, что критически важно для развития машинного перевода и анализа синтаксиса. Hacker News · ИИ в бизнесе Разработка разговорного ИИ для управления хроническими заболеваниями Исследователи представили методологию создания специализированных диалоговых систем, предназначенных для поддержки пациентов с хроническими заболеваниями. В отличие от универсальных чат-ботов, эти модели обучаются на верифицированных клинических данных и протоколах лечения, что позволяет им предоставлять персонализированные рекомендации по мониторингу состояния здоровья в режиме реального времени. arXiv · Данные и инжиниринг Выпущен датасет CzechDocs для обучения систем перевода с сохранением форматирования Исследователи представили CzechDocs — многоязычный параллельный набор данных, предназначенный для совершенствования систем машинного перевода. Корпус включает документы в форматах HTML, DOCX и PDF, что позволяет обучать модели не только точному переводу текста, но и сохранению исходной структуры и верстки файлов. Это критически важный аспект для автоматизации обработки сложной документации, где визуальное оформление несет смысловую нагрузку. Hacker News · Оценка и бенчмарки Новый бенчмарк для оценки ИИ в повседневной медицинской помощи Исследователи из Mass General Brigham представили специализированный бенчмарк для оценки эффективности больших языковых моделей в клинической практике. Инструмент предназначен для проверки того, насколько корректно ИИ справляется с типичными задачами врача: постановкой предварительных диагнозов, интерпретацией симптомов и формированием планов лечения на основе данных пациентов. Hacker News · ИИ в бизнесе Создание узкоспециализированных ИИ-чат-ботов на базе Claude Разработка специализированных чат-ботов требует глубокой проработки контекста и управления знаниями для минимизации галлюцинаций. В статье рассматриваются практические подходы к созданию ИИ-ассистентов на базе моделей Claude, сфокусированных на конкретных предметных областях. Автор анализирует методы структурирования данных и настройки промптов, которые позволяют повысить точность ответов при работе с закрытыми корпоративными базами знаний и технической документацией. The GitHub Blog · Модели и релизы GitHub выпустил открытый датасет для обучения многоязычных моделей GitHub представил новый открытый датасет, содержащий мультиязычный контент из репозиториев. Данные собраны из README, issues и pull requests и доступны под лицензией CC0-1.0. Hacker News · Данные и инжиниринг Запущен интерактивный атлас наборов данных для обучения ИИ Проект DELN представил интерактивный атлас, систематизирующий ключевые наборы данных, которые используются для обучения современных нейросетевых моделей. Ресурс позволяет визуализировать структуру и состав датасетов, помогая исследователям и разработчикам лучше понимать источники информации, на которых базируются алгоритмы машинного обучения. arXiv · Машинное обучение BetXplain: датасет для выявления манипулятивной рекламы ставок в соцсетях Исследователи представили BetXplain — специализированный датасет с аннотациями для обучения моделей автоматическому обнаружению манипулятивной рекламы букмекерских контор. Набор данных содержит примеры контента, использующего психологические триггеры для вовлечения пользователей в рискованные ставки, что позволяет ИИ-системам эффективнее модерировать рекламные потоки в социальных сетях и защищать аудиторию от деструктивного влияния. arXiv · Исследования и наука RSPC: новый датасет для анализа психического здоровья в цифровых отношениях Исследователи представили RSPC — корпус данных из 1799 постов Reddit, размеченных профессиональными психиатрами для оценки психологического состояния пользователей. В отличие от предыдущих работ, рассматривающих ментальное здоровье изолированно, этот бенчмарк фокусируется на взаимосвязи психических расстройств и стрессовых триггеров, возникающих в контексте цифровых отношений, что позволяет моделям NLP лучше учитывать межличностный контекст при анализе текстов.

← Все материалы