Исследователи представили VendorBench-100 — комплексный бенчмарк для оценки систем обнаружения дипфейков. Инструмент впервые объединяет три различных подхода: коммерческие API, мультимодальные vision-language модели и специализированные open-source детекторы. Единая методология позволяет объективно сравнить эффективность этих решений, которые ранее тестировались по разным протоколам, что затрудняло выбор наиболее надежного инструмента для верификации визуального контента.
Разработка решает проблему фрагментации в области безопасности медиаконтента. До появления VendorBench-100 разработчики и исследователи использовали разрозненные наборы данных, что приводило к искаженным результатам при попытке сопоставить возможности проприетарных облачных сервисов и локально развернутых нейросетей. Новый бенчмарк охватывает 36 репрезентативных моделей, демонстрируя значительные различия в точности обнаружения в зависимости от архитектуры и парадигмы обучения.
Использование VendorBench-100 позволяет оценить устойчивость моделей к современным методам генерации изображений. Это критически важно для компаний и платформ, внедряющих системы автоматической модерации контента, так как позволяет выбрать оптимальный стек технологий на основе верифицируемых метрик, а не маркетинговых заявлений поставщиков решений.
Ключевые факты
- В бенчмарк включено 36 различных моделей для детекции дипфейков.
- Оценка проводится по трем основным парадигмам: коммерческие API, vision-language модели и open-source детекторы.
- Методология обеспечивает кросс-парадигмальное сравнение, которое ранее было невозможно из-за отсутствия единого протокола тестирования.
- Исследование направлено на стандартизацию оценки безопасности визуального контента в условиях быстрого развития генеративных технологий.