Shadow Web — это новый инструмент, предназначенный для значительного сокращения количества токенов при передаче веб-контента в LLM-агенты. Решение отсекает лишние элементы DOM, оставляя только семантически важную информацию. В зависимости от структуры страницы, библиотека позволяет уменьшить потребление токенов на 64–97%, что напрямую снижает затраты на инференс и ускоряет обработку данных агентами.

Основная проблема при использовании LLM для навигации по сети заключается в избыточности HTML-кода. Стандартные методы парсинга часто передают агенту множество служебных тегов, скриптов и стилей, которые не несут полезной нагрузки, но расходуют контекстное окно. Shadow Web автоматизирует процесс очистки, выделяя ключевые узлы, необходимые для понимания структуры страницы и взаимодействия с элементами интерфейса.

Инструмент ориентирован на разработчиков агентных систем, которым требуется высокая эффективность при работе с динамическим вебом. За счет агрессивной фильтрации DOM-дерева, система позволяет «вместить» больше контента в ограниченный контекст модели, сохраняя при этом работоспособность агентных функций, таких как заполнение форм или извлечение данных.

Ключевые факты

  • Экономия токенов при обработке веб-страниц составляет от 64% до 97%.
  • Инструмент направлен на оптимизацию контекстного окна для LLM-агентов.
  • Метод основан на интеллектуальной фильтрации DOM-дерева и удалении нерелевантных узлов.
  • Решение доступно в виде open-source проекта на GitHub для интеграции в существующие пайплайны.