Together.ai · 05.08.2026 ·Оценка и бенчмарки

Сравнение DeepSeek-V4 Flash и GPT-5.6 Luna в задачах программирования

Исследование Together AI сравнило эффективность моделей DeepSeek-V4 Flash и GPT-5.6 Luna на бенчмарке DeepSWE, включающем 900 запусков. Результаты показывают, что GPT-5.6 Luna превосходит конкурента по качеству кода (метрика pass@1 на 14 пунктов выше), однако DeepSeek-V4 Flash демонстрирует значительно более высокую экономическую эффективность, обеспечивая в 4,8 раза больше успешных решений на каждый потраченный доллар.

Бенчмарк DeepSWE ориентирован на оценку способностей LLM к решению сложных инженерных задач в реальных репозиториях. Разрыв в 14 процентных пунктов по точности выполнения задач (pass@1) подчеркивает лидерство GPT-5.6 Luna в качестве генерации кода, что делает её предпочтительным выбором для сценариев, где критически важна безошибочность результата с первой попытки.

С другой стороны, показатель стоимости решения задач становится ключевым фактором для масштабируемых систем разработки. Преимущество DeepSeek-V4 Flash в 4,8 раза по эффективности затрат указывает на то, что для многих прикладных задач, где допустима итеративная доработка или требуется массовая обработка кода, использование более доступных моделей позволяет существенно оптимизировать бюджеты на инференс без критической потери производительности.

Ключевые факты

Проведено 900 тестовых запусков (rollouts) на платформе DeepSWE для каждой модели.
GPT-5.6 Luna опережает DeepSeek-V4 Flash на 14 пунктов по метрике pass@1.
DeepSeek-V4 Flash обеспечивает в 4,8 раза больше успешных решений на каждый потраченный доллар.
Исследование сфокусировано на сравнении качества кода и экономической эффективности инференса в задачах разработки.

Источник: Together.ai

Обсудить с ИИ

Похожие материалы

The Decoder · Модели и релизы DeepSeek обновила модель V4 Flash: производительность на уровне лидеров при низкой цене Компания DeepSeek выпустила обновление «0731» для своей бюджетной модели V4 Flash, значительно повысив её вычислительные возможности. Согласно данным Artificial Analysis, модель набрала 50 баллов в Intelligence Index, вплотную приблизившись к показателям GPT-5.6 Luna от OpenAI. При этом стоимость выполнения задач с использованием новой версии снизилась примерно на 60% по сравнению с конкурентом. Hacker News · Оценка и бенчмарки DeepSeek V4 Flash показала эффективность, сопоставимую с GPT-5.6 в Agentic Memory Benchmark Новый бенчмарк Agentic Memory Benchmark (ATM) продемонстрировал, что модель DeepSeek V4 Flash стоимостью $0,26 за прогон достигает результатов, сопоставимых с GPT-5.6, чей запуск обходится в $5,01. Это подчеркивает значительный разрыв в экономической эффективности современных LLM при выполнении задач, требующих работы с агентной памятью и долгосрочным контекстом. Hacker News · Оценка и бенчмарки Сравнительный анализ производительности и стоимости моделей GPT-5.6 Аналитическая платформа Artificial Analysis представила детальное сравнение производительности и экономической эффективности новых моделей серии GPT-5.6, разделенных на линейки Sol, Terra и Luna. Исследование демонстрирует, как архитектурные различия между версиями влияют на качество ответов и итоговую стоимость токена, предоставляя разработчикам метрики для оптимизации затрат при выборе подходящей модели для конкретных задач. Together.ai · Оценка и бенчмарки Сравнение эффективности моделей Kimi K3 и GPT-5.6 Sol в задачах программирования Исследование производительности моделей Kimi K3 и GPT-5.6 Sol на бенчмарке DeepSWE показало различия в их специализации. При 904 запусках GPT-5.6 Sol продемонстрировала лучшие показатели pass@1, тогда как Kimi K3 оказалась эффективнее в метрике pass@4. Использование стратегии маршрутизации между этими моделями позволяет достичь успеха в 85,6% случаев, оптимизируя баланс между качеством кода и затратами. Hacker News · Модели и релизы Анализ производительности и стоимости модели DeepSeek-V4-Flash Аналитическая платформа Artificial Analysis опубликовала детальный разбор новой модели DeepSeek-V4-Flash. Исследование подтверждает высокую эффективность архитектуры, демонстрируя значительный прогресс в соотношении вычислительной мощности и стоимости инференса. Модель показывает конкурентные результаты в бенчмарках, сохраняя при этом низкие задержки, что делает её привлекательным решением для высоконагруженных систем, требующих быстрой обработки данных при ограниченном бюджете на API. Hacker News · Оценка и бенчмарки Результаты модели GPT-5.6 Luna в задачах кибербезопасности Новая модель GPT-5.6 Luna продемонстрировала значительный прирост эффективности при анализе безопасности программного кода. Согласно последним бенчмаркам, система показывает более высокий показатель возврата инвестиций (ROI) при поиске уязвимостей по сравнению с предыдущими версиями, сокращая время на ручную проверку и количество ложноположительных срабатываний в автоматизированных пайплайнах разработки. Hacker News · Оценка и бенчмарки Сравнение производительности Fable 5 и GPT-4o в решении NP-трудных задач Исследование анализирует эффективность моделей Fable 5 и GPT-4o при решении сложных комбинаторных задач, классифицируемых как NP-трудные. Автор тестирует влияние промпт-инжиниринга, в частности использование директивы «/goal», на способность моделей находить оптимальные решения. Результаты показывают, как архитектурные различия и методы постановки целей влияют на точность логических выводов и качество итоговых результатов в условиях ограниченных вычислительных ресурсов. Hacker News · Модели и релизы Сравнение производительности Muse Spark 1.1 и DeepSeek-V4-Pro Аналитики представили детальное сравнение двух актуальных LLM: Muse Spark 1.1 и DeepSeek-V4-Pro. Исследование охватывает ключевые метрики производительности, скорость генерации токенов и точность выполнения сложных логических задач. Результаты показывают, как каждая из моделей справляется с кодингом, анализом данных и творческим письмом, определяя их сильные стороны в различных сценариях использования. Hacker News · Модели и релизы Обзор возможностей модели DeepSeek-V4-Flash-0731 Саймон Уиллисон опубликовал подробный разбор новой модели DeepSeek-V4-Flash-0731, акцентируя внимание на её производительности и эффективности в задачах инференса. Модель демонстрирует значительный прогресс в скорости обработки запросов и качестве генерации кода, что делает её конкурентоспособным решением для разработчиков, стремящихся оптимизировать затраты на API при сохранении высокой точности ответов в сложных агентных сценариях. The Decoder · ИИ в бизнесе Сравнение эффективности GLM-5.2 и Claude Opus 4.7 в задачах кодинга Генеральный директор Snowflake Шридхар Рамасвами сообщил, что модель GLM-5.2 от Zhipu AI демонстрирует производительность, сопоставимую с Claude Opus 4.7 в задачах программирования. Согласно внутренним тестам компании, китайская разработка обходится в пять раз дешевле в пересчете на выходной токен, что создает серьезную ценовую конкуренцию для ведущих западных ИИ-лабораторий и может повлиять на их рыночные оценки.

← Все материалы