Компания Meta (признана экстремистской организацией, деятельность запрещена в РФ) анонсировала семейство моделей Muse, использующих архитектуру Masked Generative Transformer. В отличие от диффузионных моделей, Muse работает с токенами в пространстве признаков, что обеспечивает высокую скорость генерации изображений и видео при сохранении качества, сопоставимого с современными аналогами, и поддержке редактирования контента через текстовые промпты.
Технология базируется на методе маскированного моделирования, где модель учится предсказывать пропущенные токены изображения. Такой подход позволяет значительно сократить количество итераций, необходимых для формирования финального результата, по сравнению с классическими диффузионными процессами. Это делает Muse эффективным инструментом для задач, требующих высокой производительности, включая генерацию видео с временной согласованностью кадров.
Модели поддерживают широкий спектр функций: от создания изображений по текстовому описанию до инпейнтинга (заполнения пропущенных областей) и аутпейнтинга (расширения границ кадра). Внедрение архитектуры Transformer позволяет системе лучше понимать семантические связи между объектами, что повышает точность следования сложным инструкциям пользователя.
Ключевые факты
- Muse использует архитектуру Masked Generative Transformer, работающую с токенами вместо пикселей.
- Модели демонстрируют значительно более высокую скорость генерации по сравнению с традиционными диффузионными методами.
- Система поддерживает генерацию видео, обеспечивая высокую временную стабильность между кадрами.
- Функционал включает редактирование изображений, включая инпейнтинг и аутпейнтинг, на основе текстовых запросов.