Стартап Taalas представил специализированные процессоры, разработанные для радикального ускорения инференса нейросетей. Компания утверждает, что их архитектура позволяет достичь 1000-кратного прироста производительности по сравнению с традиционными GPU. Вместо использования стандартных графических ускорителей, Taalas переносит вычисления непосредственно на кастомный кремний, оптимизируя выполнение моделей под конкретные вычислительные графы архитектуры трансформеров.

Основная идея проекта заключается в отказе от универсальных GPU в пользу специализированных чипов, которые работают как «компьютер для конкретной модели». Такой подход позволяет исключить избыточные операции, характерные для архитектуры общего назначения, и сфокусироваться на максимально эффективном выполнении операций матричного умножения и активации, критически важных для LLM.

Разработка направлена на снижение стоимости и энергопотребления при развертывании крупномасштабных языковых моделей. Переход на специализированное «железо» позволяет компаниям кратно сократить затраты на инфраструктуру, необходимые для обслуживания запросов пользователей, при этом значительно уменьшая задержки (latency) при генерации ответов.

Ключевые факты

  • Taalas заявляет о достижении 1000-кратного ускорения инференса по сравнению с GPU общего назначения.
  • Архитектура компании предполагает создание кастомных чипов, где модель «зашита» в логику процессора.
  • Технология ориентирована на оптимизацию работы трансформеров, лежащих в основе современных LLM.
  • Решение направлено на решение проблемы высокой стоимости и энергозатратности инференса в облачных инфраструктурах.