Компания Together.ai провела бенчмарк производительности кодирующих агентов в реальных условиях. По результатам тестов, их решение показало 31% больше транзакций в секунду (TPS) по сравнению с TensorRT-LLM. Также отмечено в два раза лучшее время первого ответа (TTFT) при насыщении системы и на 76% более низкие затраты по сравнению с моделью Claude Opus 4.6.
В исследовании подробно описаны методы тестирования и сравнения различных параметров производительности. Особое внимание уделено эффективности работы агентов при высоких нагрузках, что критически важно для промышленного применения.
Результаты демонстрируют значительные преимущества в скорости и стоимости, что может повлиять на выбор решений для внедрения ИИ в производственные процессы. Вместе с тем, авторы подчеркивают важность дальнейших исследований для оптимизации работы агентов в различных сценариях использования.
Подробности исследования доступны на сайте Together.ai.