Исследователи представили метод SearchGen, решающий проблему ограниченности знаний у визуальных генеративных моделей. В отличие от стандартных систем, обученных на статичных датасетах, SearchGen интегрирует механизмы поиска для работы с актуальными событиями и редкими сущностями. Это позволяет моделям выходить за рамки фиксированных обучающих выборок и точнее визуализировать объекты, появившиеся после завершения этапа обучения.
Основная проблема современных генераторов заключается в их склонности к «уверенным галлюцинациям» при запросах, выходящих за пределы их тренировочных данных. Авторы работы доказывают, что архитектурный разрыв между фиксированным корпусом знаний и динамически меняющимся миром требует внедрения внешних инструментов поиска. Новый подход позволяет модели динамически извлекать контекст для генерации изображений, что критически важно для работы с трендовыми сущностями и специфическими пользовательскими запросами.
Для оценки эффективности предложенного решения был разработан специализированный бенчмарк SearchGen-Bench. Он включает в себя задачи, требующие глубокого понимания актуального контекста, который отсутствует в весах базовых моделей. Тестирование показало, что интеграция поисковых механизмов значительно снижает количество фактических ошибок и повышает релевантность визуализации для объектов, не представленных в исходных обучающих данных.
Ключевые факты
- Представлен датасет SearchGen-20K, содержащий 20 000 примеров для обучения и оценки моделей в условиях нехватки знаний.
- Разработан бенчмарк SearchGen-Bench для измерения точности визуализации сущностей, вышедших за пределы временного окна обучения модели.
- Метод направлен на устранение структурного «бутылочного горлышка» знаний, характерного для всех современных диффузионных и авторегрессионных визуальных генераторов.
- Исследование подтверждает, что использование внешних поисковых индексов позволяет эффективно обрабатывать запросы о событиях, произошедших после даты отсечки обучающих данных.