Исследователи представили метод повышения точности обнаружения пиксельных правок на изображениях, созданных современными мультимодальными моделями (VLM). Решение фокусируется на проблеме обобщения домена, позволяя алгоритмам эффективно выявлять следы редактирования даже в тех случаях, когда изображения были сгенерированы моделями, не участвовавшими в обучении детектора, что критически важно для борьбы с дипфейками и визуальной дезинформацией.
Современные модели, такие как ChatGPT от OpenAI, Gemini от Google и Qwen-Image, обладают продвинутыми инструментами редактирования, которые оставляют минимальные артефакты. Традиционные системы детекции часто показывают низкую эффективность при смене архитектуры генератора или при работе с данными, выходящими за рамки обучающей выборки. Предложенный подход использует техники доменной генерализации, чтобы сделать классификаторы более устойчивыми к «out-of-distribution» сценариям.
Разработка опирается на обучение моделей на разнообразных наборах данных, имитирующих различные стили и методы манипуляций. Это позволяет системе фокусироваться на фундаментальных признаках нарушения целостности пикселей, а не на специфических «отпечатках» конкретной нейросети. Такой подход обеспечивает стабильную работу детектора в условиях постоянно меняющегося ландшафта генеративных технологий.
Ключевые факты
- Исследование направлено на решение проблемы кросс-модельного обнаружения манипуляций, где детектор должен распознавать правки от неизвестных ему генераторов.
- Метод тестировался на изображениях, созданных ведущими моделями, включая ChatGPT, Gemini и Qwen-Image.
- Основной акцент сделан на пиксельном уровне анализа, что позволяет выявлять локальные изменения, незаметные для стандартных классификаторов.
- Предложенная архитектура демонстрирует повышенную устойчивость к распределениям данных, которые отсутствовали в процессе первичного обучения системы.