arXiv · 18.06.2026 ·Машинное обучение

FreeStyle: новый метод разделения стиля и контента при генерации изображений

Исследователи представили метод FreeStyle, направленный на решение проблемы разделения стиля и контента при генерации изображений по двум разным референсам. Основная сложность подобных систем заключается в необходимости сохранять структуру и семантику исходного контента, одновременно перенимая визуальную стилистику другого изображения, не допуская при этом «утечки» смысловых элементов из стилевого референса.

Авторы работы предложили подход, основанный на использовании сообщества LoRA-адаптеров (Low-Rank Adaptation). Метод позволяет эффективно извлекать и комбинировать стилевые признаки, минимизируя искажения, которые часто возникают при попытке совместить разнородные визуальные данные. В отличие от стандартных подходов, FreeStyle лучше справляется с балансом между точностью следования текстовой инструкции и визуальной верностью обоим источникам.

Технология опирается на предварительно обученные модели и позволяет гибко управлять процессом синтеза без необходимости переобучения базовой архитектуры под каждую задачу. Это открывает новые возможности для создания контента, где требуется строгий контроль над композицией при сохранении заданного художественного оформления, что актуально для задач дизайна, рекламы и генеративного искусства.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение ProductConsistency: новый метод сохранения идентичности объектов при редактировании изображений Исследователи представили метод ProductConsistency, направленный на решение проблемы потери деталей при редактировании изображений с помощью текстовых инструкций. Современные модели часто искажают ключевые характеристики товаров, такие как брендинг, специфические элементы дизайна и текстовые надписи, когда пользователь запрашивает изменение фона или окружения. Новый подход позволяет сохранять визуальную идентичность продукта, что критически важно для коммерческого использования ИИ в маркетинге и электронной коммерции. arXiv · Модели и релизы Новый метод улучшения генерации изображений по тексту Исследователи предложили новый подход к дообучению моделей генерации изображений по тексту. В статье на arXiv представлен метод STAR (SpatioTemporal Adaptive Reward Allocation), который учитывает временную и пространственную структуру процесса генерации. arXiv · Оценка и бенчмарки Исследование StylisticBias: как визуальные стили влияют на предвзятость мультимодальных ИИ Исследователи представили бенчмарк StylisticBias, предназначенный для анализа того, как визуальные признаки на изображениях провоцируют социальные предубеждения в мультимодальных больших языковых моделях (MLLM). В отличие от предыдущих подходов, которые сравнивали реакции моделей на разных людей, новый метод изолирует конкретные визуальные стилистические сигналы, такие как одежда, прическа или аксессуары, сохраняя при этом идентичность субъекта неизменной. arXiv · Машинное обучение FlowEdit: адаптация TTS-систем без переобучения моделей Исследователи представили метод FlowEdit, позволяющий корректировать произношение в системах синтеза речи (TTS) на базе flow-matching без необходимости дообучения весов модели. Современные генеративные системы синтеза показывают высокое качество в режиме zero-shot, однако они остаются статичными после развертывания. Это приводит к устойчивым ошибкам при озвучивании редких имен собственных или специфических терминов, отсутствующих в обучающей выборке. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Машинное обучение Новый метод улучшает сегментацию медицинских изображений без меток Исследователи предложили новый подход к сегментации медицинских изображений в условиях нехватки аннотированных данных. В статье на arXiv представлен метод, который использует цепочки рассуждений (Chain of Thought, CoT) для улучшения семисупервизорного обучения. The Verge · ИИ в бизнесе Adobe обновляет Firefly для работы с контекстом проектов Adobe представила обновленную студию Firefly, которая переходит от генерации отдельных изображений к управлению полноценными дизайн-проектами. Новая среда позволяет пользователям сохранять контекст работы, повторно использовать созданные ранее элементы и организовывать рабочие процессы в едином интерфейсе. Система теперь «запоминает» визуальный стиль и наработки пользователя, что обеспечивает единообразие контента в рамках одной задачи. Engineering at Meta · Память и RAG SilverTorch: новый подход к рекомендательным системам Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила SilverTorch — новую архитектуру для рекомендательных систем. Она объединяет все компоненты извлечения контента пользователей в единую структуру. По заявлению компании, SilverTorch демонстрирует до 23,7 раза более высокую пропускную способность по сравнению с лучшими существующими решениями. arXiv · Машинное обучение Новый метод управления генерацией речи через классификаторы Исследователи представили метод оптимизации генерации речи с помощью диффузионных моделей, который позволяет отказаться от обучения специализированных классификаторов для управления процессом. Традиционный подход к направленной генерации (classifier guidance) требует одновременного использования двух отдельных моделей: диффузионной и классификатора, обученного на зашумленных данных. Это усложняет архитектуру и увеличивает вычислительные затраты при развертывании систем синтеза. arXiv · Обучение и дообучение SoftSkill: новый метод сжатия поведенческих навыков для ИИ-агентов Исследователи представили метод SoftSkill, который меняет подход к передаче инструкций и навыков для ИИ-агентов. Традиционно агенты используют текстовые файлы в формате Markdown, где прописаны правила поведения и алгоритмы выполнения задач. Однако такой подход требует от языковой модели каждый раз интерпретировать длинный текст, что снижает эффективность и точность исполнения инструкций в процессе генерации.

← Все материалы