Компания Google продемонстрировала возможность запуска модели Gemma на устройствах с Coral Board. Это решение позволяет выполнять инференс на краю сети, что особенно актуально для задач, требующих низкой задержки и автономной работы.
В видео показан процесс установки и настройки модели на устройстве. Coral Board оснащён специализированным процессором TPU, который обеспечивает высокую производительность при обработке задач машинного обучения.
Использование Gemma на устройствах с Coral Board открывает новые возможности для внедрения ИИ в устройства с ограниченными ресурсами. Это может быть полезно в промышленности, медицине и других областях, где требуется локальная обработка данных.
Демонстрация показывает, что модели нового поколения могут быть использованы не только на мощных серверах, но и на компактных устройствах, что расширяет горизонты применения ИИ-технологий.