Команда Firecrawl выпустила AnyDoc — специализированный инструмент для преобразования офисных форматов, включая Word, Excel, PowerPoint и PDF, в чистый Markdown. Решение написано на языке Rust, что обеспечивает высокую скорость обработки данных, и предоставляет готовые биндинги для Node.js и Python, упрощая интеграцию в пайплайны подготовки данных для LLM и RAG-систем.
Качественная конвертация неструктурированных документов в Markdown является критическим этапом при создании баз знаний для ИИ-агентов. Традиционные методы часто теряют структуру таблиц или форматирование текста, что снижает точность ответов моделей. Использование Rust позволяет AnyDoc эффективно справляться с большими объемами файлов, минимизируя задержки при подготовке датасетов.
Инструмент ориентирован на разработчиков, которым необходимо стандартизировать входящие данные из различных источников. Поддержка широкого спектра форматов, от электронных таблиц до электронных книг, позволяет унифицировать процесс парсинга документов, делая их пригодными для векторного поиска и контекстного наполнения агентных систем.
Ключевые факты
- Поддерживаемые форматы: Word, PowerPoint, Excel, OpenDocument, RTF, EPUB, CSV и PDF.
- Технологический стек: ядро написано на Rust для обеспечения высокой производительности.
- Доступность: реализованы официальные биндинги для Node.js и Python.
- Назначение: подготовка структурированного Markdown-контента для RAG-систем и LLM-приложений.