Команда Empero-AI представила Qwythos-9B — специализированную языковую модель с 9 миллиардами параметров, построенную на базе архитектуры Qwen2.5. Модель оптимизирована для творческого письма и ролевых сценариев, предлагая расширенное контекстное окно до 1 миллиона токенов. Релиз ориентирован на пользователей, которым требуется высокая производительность при работе с длинными текстами и сложными нарративными структурами в локальных средах.
Разработка базируется на весах Qwen2.5-7B, которые прошли через процесс дообучения (fine-tuning) с использованием наборов данных, ориентированных на стилистическую гибкость и следование сложным инструкциям. Увеличение контекстного окна до 1 млн токенов позволяет модели удерживать в памяти значительные объемы информации, что критично для поддержания консистентности персонажей и сюжета в длительных сессиях взаимодействия.
Модель распространяется через платформу Hugging Face и доступна для локального запуска, что делает её привлекательным инструментом для исследователей и энтузиастов, работающих с генеративным контентом. Использование архитектуры Qwen2.5 обеспечивает высокую эффективность инференса на потребительском оборудовании, сохраняя при этом качество генерации, сопоставимое с более крупными проприетарными решениями в узких творческих задачах.
Ключевые факты
- Базовая архитектура: Qwen2.5-7B.
- Количество параметров: 9 миллиардов.
- Размер контекстного окна: 1 000 000 токенов.
- Специализация: творческое письмо, ролевые игры, длинные нарративы.
- Платформа распространения: Hugging Face.