Исследователи проанализировали восприятие художественных текстов, переведенных с помощью ИИ и профессиональных переводчиков. Хотя алгоритмы успешно справляются с передачей базового смысла и грамматической точностью, читатели отмечают значительную разницу в погружении и литературной выразительности. Автоматические метрики качества оказались неспособны уловить тонкие эмоциональные аспекты, которые делают текст по-настоящему художественным и вовлекающим для аудитории.
В ходе эксперимента 15 активных читателей сравнивали фрагменты недавно опубликованных профессиональных переводов с версиями, созданными современными языковыми моделями. Участники оценивали тексты не только по критериям беглости и адекватности, но и по уровню «литературного эффекта». Результаты показали, что даже при технически безупречном переводе ИИ часто уступает человеку в передаче авторского стиля, ритма и эмоциональной глубины произведения.
Данная работа подчеркивает ограниченность текущих стандартов оценки машинного перевода. Традиционные метрики, такие как BLEU или BERTScore, ориентированы на сопоставление слов и структур, но игнорируют эстетическую составляющую текста. Для издательской индустрии и разработчиков систем перевода это означает, что автоматизация художественного контента требует новых подходов к обучению моделей, ориентированных на сохранение художественной целостности, а не только на семантическую точность.
Ключевые факты
- В исследовании приняли участие 15 квалифицированных читателей, оценивавших качество перевода.
- Сравнивались профессиональные человеческие переводы и версии, сгенерированные ИИ-моделями.
- Основной упор в оценке был сделан на «литературный эффект» и глубину погружения в текст.
- Установлено, что стандартные метрики качества перевода плохо коррелируют с читательским восприятием художественной литературы.
- ИИ-переводы признаны «приемлемыми» по смыслу, но проигрывают в эмоциональной выразительности.