Команда Sakana AI разработала Picbreeder — метод, который использует эволюционные алгоритмы для создания изображений с помощью визуально-языковых моделей (VLM). Вместо классических промптов система итеративно «скрещивает» и мутирует визуальные концепции, позволяя пользователям отбирать наиболее удачные варианты. Это открывает новые возможности для творческого поиска и автоматизированного дизайна без необходимости детального описания каждого элемента в текстовом запросе.
В основе подхода лежит концепция «цифровой селекции», где модель выступает в роли генератора вариаций, а человек или автоматизированный критерий — в роли селекционера. Система позволяет исследовать латентное пространство моделей, находя неожиданные визуальные формы, которые сложно получить через стандартную генерацию по тексту. Это значительно упрощает процесс поиска сложных визуальных стилей и композиций, превращая генерацию в процесс эволюционного отбора.
Метод демонстрирует, как можно сочетать мощь современных нейросетей с классическими алгоритмами оптимизации для решения задач, где точный текстовый запрос затруднителен. Исследователи отмечают, что такой подход позволяет создавать уникальные визуальные объекты, которые выходят за рамки привычных паттернов, заложенных в обучающие выборки моделей.
Ключевые факты
- Разработчик метода — исследовательская лаборатория Sakana AI.
- Технология опирается на использование VLM для оценки и генерации визуальных мутаций.
- Метод позволяет пользователю выступать в роли «селекционера», выбирая лучшие итерации из предложенных моделью вариантов.
- Подход минимизирует зависимость от сложности текстового промпта, фокусируясь на итеративном улучшении визуального результата.
- Система позволяет находить сложные визуальные формы, недоступные при прямой генерации по текстовому описанию.