Исследователи Bellingcat сравнили эффективность классических алгоритмов машинного обучения и больших языковых моделей при анализе Telegram-каналов в условиях конфликта. Оказалось, что модель XGBoost значительно превосходит современные LLM в точности поиска сообщений о вреде гражданскому населению, демонстрируя более высокую скорость обработки данных при кратно меньших вычислительных затратах и стоимости эксплуатации.
В ходе эксперимента команда столкнулась с проблемой огромного объема неструктурированных данных, поступающих из зон боевых действий. Использование LLM для классификации каждого поста оказалось экономически нецелесообразным и подверженным галлюцинациям. Внедрение градиентного бустинга на решающих деревьях позволило автоматизировать фильтрацию потока, оставляя для ручной проверки только наиболее релевантные инциденты, что существенно повысило эффективность работы OSINT-аналитиков.
Метод опирается на предварительную векторизацию текста и обучение классификатора на размеченных наборах данных. Такой подход обеспечивает прозрачность принятия решений, в отличие от «черного ящика» нейросетевых архитектур, что критически важно для верификации информации в условиях высокой интенсивности информационных потоков. Использование классических методов машинного обучения позволяет масштабировать мониторинг на тысячи каналов без необходимости аренды дорогостоящих GPU-кластеров.
Ключевые факты
- Алгоритм XGBoost показал более высокую точность классификации по сравнению с GPT-4o и другими LLM в специфических задачах мониторинга.
- Стоимость обработки данных при использовании градиентного бустинга оказалась на порядки ниже, чем при использовании API крупных языковых моделей.
- Метод позволяет эффективно фильтровать тысячи сообщений в реальном времени, сокращая объем ручной работы для исследователей.
- Основным преимуществом подхода стала высокая интерпретируемость результатов и отсутствие галлюцинаций, характерных для генеративных моделей.