Исследователи обнаружили, что специально модифицированные шрифты позволяют скрывать текст от систем компьютерного зрения, оставаясь при этом полностью читаемыми для человека. Этот метод «состязательных атак» использует микроскопические изменения в начертании символов, которые нарушают работу алгоритмов распознавания текста (OCR) и классификаторов изображений, создавая серьезные уязвимости в системах автоматизации и безопасности.
Суть метода заключается в добавлении едва заметных визуальных шумов или искажений, которые для человеческого глаза выглядят как естественные особенности шрифта или артефакты печати. Однако для нейросетей такие изменения становятся критическими: модель перестает распознавать символ или интерпретирует его неверно. Это создает риск обхода систем фильтрации контента, автоматизированной обработки документов и даже систем распознавания номеров или знаков.
Подобные атаки подчеркивают уязвимость современных моделей машинного обучения к состязательным примерам (adversarial examples), которые не требуют изменения самих данных, а лишь манипулируют их визуальным представлением. В условиях, когда ИИ все чаще доверяют обработку юридических, финансовых и личных данных, такие методы могут быть использованы для скрытого внедрения информации или дезинформации, которую невозможно обнаружить без специализированных инструментов анализа.
Ключевые факты
- Метод основан на состязательных атаках, которые используют специфические визуальные искажения, невидимые для человека, но сбивающие с толку нейросети.
- Исследование показало, что даже при высоком качестве изображения ИИ-модели могут терять точность распознавания текста до 90% при использовании модифицированных шрифтов.
- Уязвимость затрагивает широкий спектр систем, включая OCR-движки, используемые в банковском секторе и системах документооборота.
- Технология позволяет скрывать вредоносный или запрещенный контент от автоматических систем модерации, которые полагаются на визуальное распознавание текста.