arXiv · 16.06.2026 ·Модели и релизы

Новый метод улучшения генерации изображений по тексту

Исследователи предложили новый подход к дообучению моделей генерации изображений по тексту. В статье на arXiv представлен метод STAR (SpatioTemporal Adaptive Reward Allocation), который учитывает временную и пространственную структуру процесса генерации.

Традиционные методы дообучения с подкреплением (RL) применяют одно и то же вознаграждение ко всему процессу генерации. В отличие от них, STAR адаптивно распределяет вознаграждение, учитывая, что разные этапы денойзинга отвечают за разные стадии генерации.

Авторы утверждают, что их метод позволяет более точно контролировать качество генерируемых изображений. В статье приведены результаты экспериментов, демонстрирующие улучшение качества генерации по сравнению с традиционными подходами.

Разработка может найти применение в улучшении существующих моделей генерации изображений, таких как Stable Diffusion или DALL-E, а также в других задачах компьютерного зрения.

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Память и RAG ReGrad: постобучение без потери знаний Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Память и RAG Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. Hacker News · Инфраструктура для агентов Anti-slopping: метод для борьбы с шаблонными ответами ЛЛМ Исследователи из Thoughtworks представили метод Anti-slopping, направленный на устранение шаблонных и банальных ответов, которые часто генерируют языковые модели. Проблема «сопливых» (sloppy) ответов — это распространённая жалоба пользователей ИИ-агентов, особенно в контексте чат-ботов и виртуальных ассистентов. Anti-slopping предлагает алгоритмический подход для выявления и исправления таких шаблонных фраз, что может значительно повысить качество взаимодействия с ИИ-агентами. arXiv · Машинное обучение Новый метод улучшает сегментацию медицинских изображений без меток Исследователи предложили новый подход к сегментации медицинских изображений в условиях нехватки аннотированных данных. В статье на arXiv представлен метод, который использует цепочки рассуждений (Chain of Thought, CoT) для улучшения семисупервизорного обучения. arXiv · Модели и релизы Новый метод обучения для мультимодального математического мышления Исследователи предложили новый подход к обучению мультимодальных моделей для решения математических задач. В статье на arXiv представлен метод MathVis-Fine, который учитывает сложные зависимости между текстом и изображениями в процессе решения задач.

← Все материалы