OpenAI в партнерстве с Broadcom разработала специализированный чип Jalapeño, предназначенный для оптимизации инференса больших языковых моделей. Решение направлено на повышение производительности, энергоэффективности и масштабируемости инфраструктуры, необходимой для работы сложных ИИ-систем. Проект знаменует переход компании к созданию собственного аппаратного обеспечения для снижения зависимости от сторонних вычислительных мощностей и оптимизации затрат на генеративный ИИ.
Разработка Jalapeño сфокусирована на специфических задачах, возникающих при выполнении инференса LLM, где критически важны пропускная способность памяти и скорость обработки токенов. Использование кастомного кремния позволяет OpenAI более гибко управлять архитектурой серверов, адаптируя их под нужды своих будущих моделей. Это стратегический шаг, который должен обеспечить компании преимущество в скорости работы сервисов при одновременном снижении стоимости каждого запроса.
Сотрудничество с Broadcom обеспечивает доступ к передовым технологиям проектирования полупроводников и налаженным цепочкам поставок. Ожидается, что внедрение чипа позволит OpenAI масштабировать свои продукты, такие как ChatGPT, с меньшими задержками и более высокой плотностью вычислений на стойку. Это часть долгосрочного плана по созданию вертикально интегрированной экосистемы, охватывающей как программное обеспечение, так и аппаратную базу.
Ключевые факты
- Чип получил название Jalapeño и разработан специально для задач инференса больших языковых моделей.
- Партнером в проектировании и производстве выступила компания Broadcom, специализирующаяся на полупроводниковых решениях.
- Основная цель разработки — повышение производительности и энергоэффективности при масштабировании ИИ-систем.
- Проект направлен на оптимизацию инфраструктуры OpenAI для снижения операционных затрат на выполнение запросов.