Together.ai · 23.07.2026 ·Оценка и бенчмарки

Сравнение Kimi K3 и Claude Fable 5 в задачах программирования

Специалисты провели масштабное тестирование моделей Kimi K3 и Claude Fable 5 на бенчмарке DeepSWE, выполнив 452 прогона для оценки эффективности написания кода. Результаты показали, что Claude Fable 5 демонстрирует более высокую точность в решении задач с первой попытки, однако Kimi K3 значительно превосходит конкурента по показателю экономической эффективности, обеспечивая почти трехкратное преимущество в количестве решенных задач на каждый потраченный доллар.

Бенчмарк DeepSWE ориентирован на проверку способности моделей к автономному решению инженерных задач в реальных репозиториях. В ходе эксперимента Claude Fable 5 показала преимущество в метрике pass@1, опередив Kimi K3 на 1,4 процентных пункта. Это подтверждает способность модели к более точному следованию инструкциям при написании кода с минимальным количеством итераций.

С другой стороны, Kimi K3 продемонстрировала лучшие результаты в метрике pass@4, что указывает на высокую надежность модели при многократных попытках решения сложных задач. Учитывая разницу в стоимости инференса, Kimi K3 оказалась в 2,8 раза эффективнее с точки зрения затрат на успешное выполнение задачи, что делает её более выгодным решением для масштабных процессов автоматизации разработки.

Ключевые факты

Проведено 452 полных прогона (rollouts) на базе бенчмарка DeepSWE.
Claude Fable 5 опережает Kimi K3 на 1,4 п.п. по показателю pass@1.
Kimi K3 лидирует по метрике pass@4, демонстрируя высокую стабильность при повторных попытках.
Экономическая эффективность Kimi K3 в 2,8 раза выше, чем у Claude Fable 5, в расчете на количество решенных задач за доллар.

Источник: Together.ai

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Сравнение Claude Fable 5 и Kimi K3: эффективность против скорости Новое исследование производительности LLM в задачах программирования показало, что модель Kimi K3 достигает результатов, сопоставимых с Claude Fable 5, при этом стоимость генерации снижается в три раза. Однако за экономию приходится платить скоростью: Kimi K3 работает в четыре раза медленнее своего конкурента, что создает важный выбор между ценовой эффективностью и временем отклика системы. Hacker News · Оценка и бенчмарки Сравнение производительности модели Kimi K3 и Claude 3.5 Sonnet в задачах программирования Китайская модель Kimi K3 от компании Moonshot AI продемонстрировала результаты, сопоставимые с Claude 3.5 Sonnet в прикладных задачах программирования. Исследование, основанное на реальных кейсах разработки, показывает, что новая архитектура способна эффективно справляться со сложными логическими структурами и написанием кода, что делает её серьезным конкурентом для текущих лидеров рынка в сегменте кодинг-ассистентов. The Decoder · Модели и релизы Kimi K3 от Moonshot лидирует в генерации фронтенд-кода Китайская модель Kimi K3 от компании Moonshot AI заняла первое место в рейтинге Code Arena: Frontend, опередив такие модели, как Claude Fable 5 и GPT-5.6 Sol. Несмотря на выдающиеся результаты в написании кода, модель демонстрирует значительное отставание в решении сложных математических задач, где её показатели существенно ниже уровня ведущих западных аналогов. Hacker News · Оценка и бенчмарки Kimi K3 показала высокие результаты в бенчмарке агентских способностей Новая модель Kimi K3 от компании Moonshot AI продемонстрировала выдающиеся показатели в бенчмарке AA-Briefcase, заняв второе место после Fable 5. Исследование Artificial Analysis подтверждает способность модели эффективно справляться с комплексными агентскими задачами, требующими работы с большими объемами знаний, что ставит её в один ряд с лидерами рынка в области автономного поиска и анализа информации. Hacker News · Оценка и бенчмарки Kimi K3 обошла GPT-4o в агентных задачах по работе со знаниями Новая модель Kimi K3 от компании Moonshot AI продемонстрировала превосходство над GPT-4o в комплексных агентных задачах, связанных с обработкой знаний. Согласно свежим результатам тестирования Artificial Analysis, модель показала более высокую точность и эффективность при выполнении многошаговых инструкций, что делает её одним из лидеров в сегменте специализированных интеллектуальных систем для автоматизации когнитивной работы. Hacker News · Модели и релизы Kimi K3 и Fable: новые лидеры в области длинного контекста Компания Fireworks AI представила результаты тестирования моделей Kimi K3 и Fable, которые демонстрируют производительность на уровне современных State-of-the-Art решений. Эти модели показывают высокую эффективность в задачах с длинным контекстом, обеспечивая конкурентные показатели точности и скорости обработки данных, что делает их значимым дополнением к экосистеме высокопроизводительных языковых моделей для сложных аналитических задач. Hacker News · Модели и релизы Анализ производительности и стоимости модели Kimi k3 Аналитическая платформа Artificial Analysis представила подробный разбор новой модели Kimi k3 от компании Moonshot AI. Исследование охватывает ключевые показатели производительности, скорость генерации токенов и экономическую эффективность использования API. Модель демонстрирует конкурентоспособные результаты в бенчмарках, предлагая пользователям баланс между качеством ответов и стоимостью инференса в сравнении с актуальными рыночными аналогами. The Decoder · Оценка и бенчмарки Claude Fable 5 лидирует в отраслевых бенчмарках, но стоит в 100 раз дороже конкурентов Anthropic представила модель Claude Fable 5, которая заняла первые места во всех шести новых отраслевых индексах производительности от Artificial Analysis, охватывающих финансы, юриспруденцию и медицину. Несмотря на технологическое превосходство, модель демонстрирует крайне высокую стоимость эксплуатации: выполнение одной задачи в категории «Стратегия и операции» обходится в 3,48 доллара, что значительно превышает затраты на использование альтернативных решений. The Decoder · Оценка и бенчмарки Kimi K3 показала низкие результаты в задачах по кибербезопасности Модель Kimi K3 от компании Moonshot AI значительно уступает ведущим американским разработкам в задачах, связанных с кибербезопасностью. Исследование, проведенное институтами безопасности ИИ Великобритании и США, показало, что модель не только демонстрирует низкую эффективность в создании эксплойтов, но и не справляется с блокировкой вредоносных запросов, несмотря на высокие показатели в общих бенчмарках. Hacker News · Оценка и бенчмарки Сравнение производительности GLM-5.2 и Claude 3 Opus в задачах программирования Новое исследование сравнивает эффективность модели GLM-5.2 и Claude 3 Opus при решении задач по написанию программного кода. Анализ показал, что GLM-5.2 демонстрирует сопоставимое качество генерации кода, при этом стоимость инференса модели оказывается более чем в два раза ниже по сравнению с решением от Anthropic, что делает её экономически выгодной альтернативой для задач разработки.

← Все материалы