Исследователи проанализировали, почему Vision-Language Models (VLM), используемые в качестве основы для диффузионных моделей редактирования изображений, теряют точность локализации объектов в сложных сценах. Авторы работы предложили метод Analysis-by-Proxy, позволяющий лучше интерпретировать сигналы локализации внутри архитектуры, что помогает устранить ошибки при обработке изображений с несколькими объектами и повысить качество генеративного редактирования.
Современные пайплайны редактирования изображений часто опираются на VLM для понимания контекста и условий запроса. Однако при переносе этих моделей в диффузионные системы возникают разрывы в передаче пространственной информации. Модели успешно распознают объекты в изоляции, но при работе с многокомпонентными сценами их способность точно «указывать» на нужную область для изменений снижается, что приводит к артефактам или неверному наложению эффектов.
Предложенный подход Analysis-by-Proxy фокусируется на извлечении скрытых сигналов локализации непосредственно из слоев кодировщика условий. Это позволяет диффузионной модели точнее соотносить текстовые токены с конкретными пиксельными областями на исходном изображении. Исследование показывает, что проблема кроется не в отсутствии знаний у VLM, а в неэффективности механизмов передачи этих данных в генеративные процессы.
Ключевые факты
- Исследование посвящено проблеме потери точности локализации объектов при использовании VLM в диффузионных пайплайнах.
- Метод Analysis-by-Proxy позволяет извлекать скрытые сигналы локализации для улучшения контроля над редактированием изображений.
- Основная сложность, выявленная авторами, заключается в обработке сцен с несколькими объектами, где стандартные VLM теряют пространственную связность.
- Работа направлена на оптимизацию взаимодействия между мультимодальным кодировщиком и диффузионным декодером для повышения качества генерации.