Screenpipe — это open-source инфраструктура для непрерывного захвата и индексации экранной активности пользователя, предназначенная для питания ИИ-агентов контекстом в режиме 24/7. Система локально записывает видео, аудио и текстовые данные с экрана, преобразуя их в структурированный поток, доступный для LLM через API, что позволяет агентам «видеть» и понимать действия пользователя в реальном времени.
Основная задача проекта — преодолеть ограничение «слепоты» современных ИИ-агентов, которые обычно не имеют доступа к истории работы пользователя вне браузера или специфических приложений. Screenpipe работает полностью локально, обеспечивая приватность данных, и предоставляет разработчикам готовые инструменты для интеграции этого контекста в агентные пайплайны. Это позволяет создавать ассистентов, способных автоматически восстанавливать контекст задачи, анализировать прошлые действия или помогать в выполнении рутинных операций на основе накопленной истории.
Технически решение представляет собой конвейер, который захватывает кадры, выполняет OCR (оптическое распознавание символов) и транскрибирует аудио, сохраняя результаты в векторную базу данных. Разработчики могут подключать любые модели для анализа этого потока, что делает систему гибким фундаментом для построения персональных ИИ-помощников с долговременной памятью о действиях пользователя.
Ключевые факты
- Screenpipe обеспечивает непрерывную запись экрана, аудио и метаданных в локальном режиме без отправки данных в облако.
- Система предоставляет API для интеграции накопленного контекста в сторонние LLM-агенты и приложения.
- В архитектуру включены встроенные модули для OCR и транскрибации, преобразующие визуальный поток в поисковый текстовый формат.
- Проект ориентирован на разработчиков агентных систем, которым требуется доступ к истории активности пользователя для повышения точности ответов и автоматизации рабочих процессов.