Опубликован систематизированный каталог различных версий и модификаций модели OpenAI Whisper, предназначенной для автоматического распознавания речи. В обзоре собраны как официальные чекпоинты от разработчиков, так и оптимизированные сообществом варианты, включая квантованные версии и модели, адаптированные для работы на специфическом аппаратном обеспечении, что упрощает выбор подходящего решения для задач транскрибации и перевода аудио в текст.
Whisper остается индустриальным стандартом для задач обработки аудио благодаря своей устойчивости к шумам и поддержке множества языков. Однако разнообразие версий — от оригинальных весов до производных форматов вроде GGUF или Faster-Whisper — часто создает сложности для разработчиков при выборе оптимального баланса между точностью распознавания и скоростью инференса на конкретном железе.
Данный справочник классифицирует модели по их архитектурным особенностям, требованиям к вычислительным ресурсам и поддерживаемым форматам. Это позволяет инженерам быстрее интегрировать системы распознавания речи в свои продукты, подбирая версию, которая эффективно работает как на мощных GPU, так и на локальных устройствах с ограниченной памятью.
Ключевые факты
- В список включены официальные чекпоинты OpenAI: tiny, base, small, medium и large (v1, v2, v3).
- Описаны оптимизированные реализации, такие как Faster-Whisper, обеспечивающие ускорение инференса до 4 раз по сравнению с оригинальной версией.
- Представлены форматы для локального запуска, включая квантованные модели в формате GGUF для использования с llama.cpp.
- Указаны варианты Distil-Whisper, которые предлагают сокращенное количество слоев для повышения производительности при сохранении высокой точности.
- Справочник содержит ссылки на репозитории с весами, адаптированными для специфических языковых пар и дообученные модели.