Команда Imbue представила Bouncer — инструмент для локального обнаружения сгенерированного ИИ контента, работающий непосредственно на iPhone. Решение использует квантованную модель Gemma от Google, обеспечивая приватность и независимость от облачных API. Это демонстрирует возможность запуска эффективных классификаторов на мобильных устройствах без передачи пользовательских данных на внешние серверы для анализа.
Разработка опирается на использование локальных вычислительных мощностей Apple Silicon. Вместо отправки текста в облако, приложение выполняет инференс модели прямо на устройстве, что критически важно для сценариев, где конфиденциальность данных является приоритетом. Использование облегченных версий моделей позволяет интегрировать сложные алгоритмы проверки в повседневные мобильные приложения.
Технология решает проблему «ИИ-мусора» (AI slop), позволяя пользователям фильтровать контент в реальном времени. Инструмент показывает, что современные мобильные чипы способны поддерживать работу специализированных LLM для задач классификации, что открывает путь к созданию автономных систем модерации и проверки подлинности контента, работающих в офлайн-режиме.
Ключевые факты
- В основе инструмента лежит модель Gemma 2B, оптимизированная для работы на мобильном железе.
- Реализация использует фреймворк MLX от Apple для эффективного выполнения вычислений на GPU и Neural Engine.
- Система позволяет классифицировать текст на наличие ИИ-следов с минимальной задержкой без обращения к сети.
- Решение направлено на борьбу с автоматизированным спамом и низкокачественным контентом в пользовательских интерфейсах.