Компания DeepGate представила специализированный компилятор, предназначенный для оптимизации нейросетевых моделей при запуске на периферийных устройствах (Edge AI). Инструмент ориентирован на повышение производительности инференса и снижение энергопотребления, что является критическим фактором для работы ИИ вне облачных дата-центров. Разработчики заявляют, что их решение демонстрирует более высокую эффективность по сравнению с популярными стандартными инструментариями, включая проприетарные стеки от производителей аппаратного обеспечения и открытые решения от Google.
Технология компилятора фокусируется на глубокой оптимизации графов вычислений и специфической настройке под архитектуру конкретных чипов. Это позволяет сократить задержки при выполнении моделей и более эффективно использовать ограниченные ресурсы памяти и вычислительных мощностей на конечных устройствах. В отличие от универсальных методов сжатия, данный подход обеспечивает более точную адаптацию весов и операций нейросети под аппаратные особенности конкретного оборудования.
Результаты внутренних тестов показывают значительный прирост скорости обработки данных в задачах компьютерного зрения и обработки естественного языка на мобильных и встраиваемых системах. Подобные инструменты играют ключевую роль в развитии локального инференса, позволяя запускать более сложные и точные модели на устройствах с низким энергопотреблением без необходимости постоянного подключения к облачным серверам.