На конференции AI Native Conf компания Together AI анонсировала несколько ключевых разработок в области инференса и оптимизации моделей. Среди них — FlashAttention-4, ускоряющая вычисления внимания, и ThunderAgent, платформа для развертывания агентов.
FlashAttention-4 продолжает линейку технологий, направленных на ускорение работы трансформеров. ThunderAgent предлагает инструменты для быстрого развертывания и масштабирования агентов на основе больших языковых моделей.
Компания также представила together.compile — фреймворк для компиляции моделей, который оптимизирует их работу на различных аппаратных платформах. Все эти технологии интегрированы в AI Native Cloud, облачную платформу Together AI.
Разработки компании направлены на сокращение времени и затрат на развертывание сложных ИИ-систем, что может существенно повлиять на рынок инференса и разработки агентов.