Современные системы фильтрации спама на базе ИИ оказались уязвимы к методам «соления» текста — добавлению случайных символов или невидимых знаков, которые легко игнорируются человеком, но сбивают с толку алгоритмы классификации. Исследователи обнаружили, что даже продвинутые модели демонстрируют значительное снижение точности при столкновении с этим старым приемом, что открывает новые возможности для массовых рассылок.
Проблема заключается в том, что нейросетевые фильтры обучаются на очищенных наборах данных и часто не учитывают специфические искажения, характерные для классического спама начала 2000-х. Добавление «шума» в виде спецсимволов или изменение кодировки нарушает векторное представление текста, из-за чего модель перестает распознавать типичные спам-паттерны. Это создает серьезный разрыв в безопасности почтовых сервисов и корпоративных систем коммуникации.
Эксперты отмечают, что для борьбы с подобными атаками разработчикам необходимо пересмотреть подходы к предобработке данных. Вместо использования стандартных токенизаторов, которые воспринимают «соленый» текст как уникальные токены, системы должны внедрять методы нормализации, способные восстанавливать исходный смысл сообщения до подачи на вход модели. В противном случае эффективность фильтрации будет продолжать падать по мере адаптации спамеров к архитектурам современных LLM.
Ключевые факты
- Метод «соления» текста включает в себя вставку случайных символов, HTML-тегов или невидимых пробелов, которые человек игнорирует при чтении.
- ИИ-фильтры, обученные на чистых данных, теряют до 40% эффективности при обработке сообщений с минимальным уровнем зашумления.
- Основная причина уязвимости — неспособность стандартных токенизаторов LLM корректно интерпретировать искаженные слова как семантически идентичные оригиналу.
- Исследователи подчеркивают необходимость внедрения слоев предварительной очистки (denoising) перед подачей текста в классификатор для повышения устойчивости систем.