Команда Hugging Face представила эксперимент по внедрению Cross-Origin Storage API в библиотеку Transformers.js. Это решение направлено на преодоление ограничений браузерной изоляции, которые затрудняют работу с большими весами моделей и кэшированием данных в клиентских приложениях. Использование нового API позволяет организовать общее хранилище между различными источниками, что критически важно для эффективной работы локальных ИИ-моделей в веб-среде.
Основная проблема текущих реализаций заключается в необходимости повторной загрузки или дублирования тяжелых файлов моделей при переходе пользователя между разными доменами одного сервиса. Предложенный механизм позволяет хранить веса моделей в едином пространстве, доступном для всех дочерних и родительских контекстов. Это значительно ускоряет инициализацию моделей и снижает нагрузку на сеть, обеспечивая более плавный пользовательский опыт при запуске инференса прямо в браузере.
Для разработчиков это означает возможность создания более сложных агентных систем, работающих на стороне клиента, без необходимости постоянного обращения к серверу за данными. Экспериментальная поддержка API позволяет тестировать сценарии, где модель, загруженная один раз, становится доступной для всех компонентов веб-приложения, независимо от их происхождения. Такой подход упрощает архитектуру локальных ИИ-приложений и делает работу с LLM в браузере более масштабируемой и производительной.