Hacker News · 06.07.2026 ·Инференс и железо

Ternlight: компактная модель эмбеддингов для запуска в браузере через WASM

Ternlight представляет собой легковесную модель для генерации векторных представлений текста, оптимизированную для работы непосредственно в браузере. Благодаря размеру всего в 7 МБ и использованию WebAssembly (WASM), модель позволяет выполнять семантический поиск и классификацию данных на стороне клиента без необходимости обращения к внешним API или развертывания тяжелой серверной инфраструктуры.

Разработка ориентирована на сценарии, где критически важны приватность данных и минимальная задержка. Использование WASM обеспечивает высокую производительность вычислений на стороне пользователя, позволяя интегрировать функции ИИ в веб-приложения с ограниченными ресурсами. Это решение упрощает создание локальных поисковых систем и рекомендательных сервисов, работающих в режиме офлайн или с минимальным потреблением трафика.

Технология открывает возможности для внедрения продвинутых функций обработки естественного языка в клиентскую часть веб-продуктов, где ранее требовались серверные мощности. Компактность модели делает её пригодной для использования в мобильных браузерах и приложениях с жесткими ограничениями по объему передаваемых данных.

Ключевые факты

Размер модели составляет всего 7 МБ, что минимизирует время загрузки в браузере.
Реализация основана на WebAssembly (WASM), что обеспечивает нативную скорость выполнения кода.
Модель предназначена для генерации эмбеддингов, позволяя реализовать семантический поиск локально.
Решение исключает необходимость передачи пользовательских данных на сервер для обработки, повышая уровень конфиденциальности.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Запуск модели Qwen 3.5 прямо в браузере через WebGPU Сообщество webml представило реализацию модели Qwen 3.5, работающую непосредственно в браузере с использованием технологии WebGPU. Это решение позволяет выполнять инференс нейросети на стороне клиента без необходимости отправки данных на сервер или установки тяжелого локального ПО. Технология обеспечивает высокую скорость генерации текста, используя вычислительные мощности видеокарты пользователя через стандартный веб-интерфейс. Hacker News · Инференс и железо Запуск модели Gemma 2 2B в браузере с высокой скоростью генерации Разработчики представили реализацию модели Gemma 2 2B, оптимизированную для работы непосредственно в браузере через WebGPU. Использование специализированных ядер позволило достичь скорости генерации текста на уровне 255 токенов в секунду. Это решение демонстрирует возможности локального исполнения нейросетей на клиентских устройствах без необходимости обращения к облачным серверам. Hacker News · Инференс и железо Fastembed-rs: библиотека на Rust для генерации векторных эмбеддингов Команда Anush008 выпустила Fastembed-rs – библиотеку на Rust для генерации векторных эмбеддингов и переранжирования. Это открытый проект, который позволяет эффективно работать с текстовыми данными, создавая векторы для последующего использования в задачах поиска, классификации и других приложениях, связанных с обработкой естественного языка. MarkTechPost · Машинное обучение Liquid AI представила компактные модели для многоязычного поиска Компания Liquid AI выпустила новые модели LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, предназначенные для эффективного семантического поиска. Решения базируются на архитектуре с 350 миллионами параметров и оптимизированы для работы на периферийных устройствах, что позволяет использовать их локально без обращения к облачным серверам. MarkTechPost · Инференс и железо NVIDIA представила Nemotron-Labs-TwoTower: диффузионную модель для ускорения генерации текста NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель, призванную преодолеть ограничения традиционных авторегрессионных систем. В отличие от последовательной генерации токенов, новая архитектура использует диффузионный подход, что позволяет значительно увеличить пропускную способность при создании текста. Модель базируется на предобученном «хребте» Nemotron-3-Nano-30B-A3B и распространяется с открытыми весами для исследовательских и прикладных целей. Hacker News · Инференс и железо Запуск мультимодальной модели LFM-2.0 через WebGPU в браузере Liquid AI представила реализацию мультимодальной модели LFM-2.0, работающую полностью в браузере через технологию WebGPU. Решение позволяет выполнять инференс нейросети на стороне клиента без необходимости обращения к серверным мощностям. Это открывает возможности для создания легковесных агентных интерфейсов и интерактивных приложений, требующих обработки изображений и текста непосредственно на устройстве пользователя с минимальной задержкой. Hacker News · Данные и инжиниринг Manticore Search ускорила генерацию эмбеддингов в 14 раз через оптимизацию ONNX Команда Manticore Search представила результаты оптимизации своего поискового движка, добившись 14-кратного ускорения процесса генерации векторных эмбеддингов. Переработка пути обработки данных через ONNX Runtime позволила значительно снизить накладные расходы при выполнении инференса моделей внутри системы, что критически важно для высоконагруженных RAG-систем и векторного поиска в реальном времени. MarkTechPost · Инференс и железо Liquid AI выпустила компактную модель LFM2.5-230M для локального запуска Компания Liquid AI представила LFM2.5-230M — свою самую компактную нейросеть с 230 млн параметров. Модель оптимизирована для работы на периферийных устройствах, демонстрируя высокую скорость генерации текста. Она поддерживает популярные фреймворки инференса, такие как llama.cpp и vLLM, и показывает превосходство над более крупными аналогами в задачах извлечения данных и выполнения инструкций. Hacker News · Инфраструктура для агентов TinySearch: инструмент для оптимизации веб-поиска в локальных ИИ-агентах TinySearch — это специализированный инструмент, предназначенный для повышения эффективности веб-поиска при работе локальных ИИ-агентов. Решение фокусируется на минимизации потребления токенов при извлечении данных из сети, что критически важно для систем с ограниченными вычислительными ресурсами или жесткими лимитами контекстного окна. Проект позволяет агентам точнее фильтровать контент, передавая в модель только наиболее релевантную информацию. Hacker News · Инференс и железо Sipp: ускорение запуска локальных LLM в браузере Проект Sipp предлагает новый подход к запуску компактных языковых моделей непосредственно в браузере, обеспечивая трехкратный прирост производительности по сравнению со стандартными методами. Инструмент оптимизирует процесс инференса, позволяя разработчикам интегрировать локальные модели в веб-приложения без необходимости обращения к облачным API, что критически важно для приватности и снижения задержек при работе с ИИ-агентами.

← Все материалы