arXiv · 18.06.2026 ·Машинное обучение

Автоматическая оптимизация 3D-генерации с помощью VLM-судьи

Исследователи представили новый метод улучшения качества генерации 3D-объектов по одному изображению. В основе подхода лежит использование мультимодальной языковой модели (VLM) в качестве автоматического судьи, который оценивает и ранжирует качество создаваемых мешей. Традиционные метрики, такие как CLIP или упрощенные геометрические прокси, часто оказываются недостаточно точными для оценки сложных 3D-структур, поэтому новая система предлагает более надежный способ фильтрации результатов.

Авторы работы применили этот механизм для дообучения генеративной модели TRELLIS на узкоспециализированном классе объектов — мебели. Ключевая особенность метода заключается в переходе от простого ранжирования к прямой оптимизации параметров модели без участия человека и без необходимости в размеченных наборах данных. Это позволяет значительно повысить детализацию и геометрическую корректность объектов при минимальных вычислительных затратах.

Данный подход демонстрирует эффективность использования «судейских» моделей для итеративного улучшения генеративных систем. Исключение ручной разметки из процесса обучения открывает возможности для масштабируемой настройки нейросетей под конкретные предметные области, что критически важно для развития инструментов автоматического создания 3D-контента для индустрии дизайна и разработки виртуальных сред.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Оптимизация дообучения Vision-Language-Action моделей Исследователи обнаружили, что для эффективной адаптации Vision-Language-Action (VLA) моделей к конкретным задачам робототехники не требуется задействовать все параметры архитектуры. Анализ показал, что значительная часть слоев в таких моделях избыточна при дообучении на специализированных наборах данных. Использование метода частичной настройки позволяет существенно снизить вычислительные затраты без потери качества управления роботами. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. Mistral AI Blog · Память и RAG Как тонкая настройка улучшает работу визуально-языковых моделей на спутниковых снимках Исследователи из Mistral AI продемонстрировали, как тонкая настройка визуально-языковых моделей (VLMs) может значительно улучшить их работу с спутниковыми снимками. В новом исследовании показано, что адаптация моделей под специфику спутниковых данных позволяет точнее анализировать и интерпретировать изображения. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Исследования и наука Новый метод ELVA для улучшения универсального мультимодального поиска Исследователи представили метод ELVA (Exploring Ranking-Driven Universal Multimodal Retrieval), направленный на повышение точности мультимодального поиска. Современные мультимодальные языковые модели часто сталкиваются с проблемой «зернистой слепоты» (grain blindness), при которой система игнорирует детализированную информацию в данных, фокусируясь лишь на общих признаках объекта. Это ограничение снижает эффективность поиска в задачах, требующих высокой точности сопоставления визуальных и текстовых элементов. arXiv · Модели и релизы Новый метод улучшения генерации изображений по тексту Исследователи предложили новый подход к дообучению моделей генерации изображений по тексту. В статье на arXiv представлен метод STAR (SpatioTemporal Adaptive Reward Allocation), который учитывает временную и пространственную структуру процесса генерации. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. Hacker News · Инфраструктура для агентов Ускорение генерации кода TVM с помощью кэширования графов задач Исследователи предложили новый метод ускорения генерации кода в TVM — популярном фреймворке для компиляции и оптимизации моделей машинного обучения. В основе метода лежит кэширование графов задач, что позволяет значительно сократить время компиляции.

← Все материалы