Разработчики из Hellas AI представили проект thunderbolt-ibverbs, который позволяет использовать InfiniBand — высокоскоростную сетевую технологию, ранее доступную только в дата-центрах — на потребительском оборудовании через интерфейс Thunderbolt. Это открывает новые возможности для локального запуска крупных языковых моделей и других вычислительно интенсивных задач.
InfiniBand обеспечивает низкую задержку и высокую пропускную способность, что критически важно для эффективного инференса больших моделей. Thunderbolt-ibverbs позволяет подключать InfiniBand-сети к ноутбукам и рабочим станциям, что делает локальный запуск моделей более доступным и производительным.
Проект включает драйверы и утилиты для настройки и управления InfiniBand-соединениями. Это особенно важно для разработчиков ИИ-агентов, которым требуется высокая производительность при работе с локальными моделями. Hellas AI также предоставила подробную документацию и примеры использования, что облегчает интеграцию технологии в существующие инфраструктуры.
Thunderbolt-ibverbs может значительно ускорить разработку и тестирование ИИ-агентов, снижая зависимость от облачных решений и предоставляя более гибкие и экономичные варианты для локального инференса. Это особенно актуально для проектов, таких как Jarv, где важна как производительность, так и возможность работы в оффлайн-режиме.