Исследователи представили EPEE — специализированный набор данных для обучения моделей компьютерного зрения распознаванию американского жестового языка (ASL). Датасет содержит видеозаписи от носителей языка, прошедшие профессиональную экспертную разметку. Релиз направлен на повышение точности ИИ-систем, интерпретирующих жестовую речь, что является критически важным этапом для развития инклюзивных технологий и доступности коммуникации.
Основная проблема существующих датасетов для жестового языка часто заключается в низком качестве разметки или использовании неносителей языка, что приводит к ошибкам в интерпретации нюансов мимики и движений рук. EPEE решает эту задачу за счет привлечения сообщества глухих и слабослышащих экспертов, которые обеспечили высокую точность аннотаций. Это позволяет обучать модели более эффективно распознавать естественную, а не постановочную жестовую речь.
Разработка подобных наборов данных открывает новые возможности для создания систем реального времени, способных переводить жестовый язык в текст или голос. Использование качественных размеченных данных — фундаментальный шаг для улучшения работы нейросетей в области жестовой коммуникации, где малейшая неточность в траектории движения рук может полностью изменить смысл высказывания.
Ключевые факты
- Датасет EPEE включает видеоматериалы, созданные и размеченные носителями американского жестового языка (ASL).
- Основной упор сделан на экспертную точность аннотаций, что критично для обучения моделей распознавания жестов.
- Набор данных доступен для исследователей на платформе Hugging Face под эгидой проекта CLERC.
- Ресурс предназначен для развития технологий компьютерного зрения, ориентированных на инклюзивность и доступность.