Исследователи представили метод перевода жестового языка на уровне целых предложений, ориентированный на работу в реальном времени. Вместо создания новой архитектуры авторы оптимизировали существующий стек SHuBERT-ByT5, обучив его на выборке из 9 872 примеров датасета How2Sign. Это решение позволяет преодолеть ограничения систем, работающих только с изолированными жестами, и приближает технологии к полноценному общению.
Традиционные системы распознавания жестового языка часто ограничиваются отдельными жестами, что делает их малоэффективными в естественном диалоге. Новый подход фокусируется на связности и скорости обработки, что критически важно для обеспечения синхронности при переводе. Использование предобученных моделей в связке с узкоспециализированным датасетом позволило добиться стабильной работы системы в условиях, близких к реальным коммуникационным сценариям.
Работа демонстрирует переход от лабораторных экспериментов с отдельными знаками к созданию прикладных инструментов, способных обрабатывать непрерывный поток жестов. Оптимизация стека моделей показывает, что эффективное дообучение существующих архитектур может быть более результативным для задач реального времени, чем разработка принципиально новых нейросетевых структур с нуля.
Ключевые факты
- Основная цель исследования — достижение производительности, пригодной для развертывания в реальном времени.
- Модель базируется на стеке SHuBERT-ByT5, адаптированном для перевода жестового языка.
- Обучающая выборка составила 9 872 примера, отобранных из набора данных How2Sign.
- Метод позволяет переводить жестовый язык на уровне предложений, а не отдельных жестов.