Hacker News · 07.08.2026 ·Оценка и бенчмарки

Результаты DeepSeek V4 Flash в бенчмарке ARC-AGI

Модель DeepSeek V4 Flash продемонстрировала значимые результаты в ARC-AGI — одном из самых сложных тестов на проверку способности ИИ к абстрактному мышлению и обобщению. В отличие от стандартных задач на знание фактов, этот бенчмарк требует от нейросетей самостоятельного поиска закономерностей в визуальных головоломках, что является важным индикатором прогресса на пути к созданию общего искусственного интеллекта.

ARC-AGI (Abstraction and Reasoning Corpus) считается «золотым стандартом» для оценки когнитивных способностей моделей, так как его невозможно «зазубрить» через обучение на огромных массивах интернет-данных. Успех DeepSeek V4 Flash в этом тесте подчеркивает эффективность архитектурных решений, которые позволяют модели лучше адаптироваться к новым, ранее не встречавшимся логическим задачам.

Показатели модели в данном тесте подтверждают тренд на повышение «интеллектуальной гибкости» современных LLM. Способность решать задачи на логический вывод и пространственное мышление становится ключевым дифференциатором для разработчиков, стремящихся выйти за рамки простого предсказания следующего токена и перейти к полноценному агентному рассуждению.

Ключевые факты

ARC-AGI включает задачи, требующие понимания концепций объектов, симметрии, топологии и базовой физики.
Тест разработан Франсуа Шолле и направлен на оценку способности ИИ к «быстрому обучению» (fast adaptation) при минимальном количестве примеров.
DeepSeek V4 Flash показала конкурентоспособные результаты, сопоставимые с топовыми проприетарными моделями в задачах на логическую дедукцию.
Бенчмарк считается устойчивым к «загрязнению» данных, так как задачи генерируются динамически и требуют от модели именно процесса рассуждения, а не извлечения информации из памяти.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Обновление лидерборда ARC-AGI: новые рубежи в измерении интеллекта ИИ Лидерборд ARC-AGI (Abstraction and Reasoning Corpus) стал ключевым инструментом для оценки способности моделей к абстрактному мышлению и решению задач, с которыми они ранее не сталкивались. В отличие от стандартных тестов, основанных на запоминании данных, этот бенчмарк проверяет навыки адаптивного обучения, что делает его одним из самых надежных индикаторов прогресса на пути к созданию общего искусственного интеллекта. Hacker News · Оценка и бенчмарки Результаты Claude 3.5 Opus в бенчмарке ARC-AGI Новая модель Claude 3.5 Opus продемонстрировала значительный прогресс в решении задач бенчмарка ARC-AGI, ориентированного на проверку способности ИИ к абстрактному мышлению и обобщению. Анализ результатов указывает на то, что модель достигла показателей, сопоставимых с лучшими специализированными решениями, что подтверждает эффективность текущих подходов к масштабированию и обучению LLM для задач, требующих логического вывода. Hacker News · Оценка и бенчмарки Результаты моделей OpenAI в бенчмарке ARC-AGI OpenAI опубликовала результаты тестирования своих последних моделей, включая GPT-4o и экспериментальные версии, в бенчмарке ARC-AGI. Этот тест оценивает способность ИИ к абстрактному мышлению и решению задач, с которыми модель ранее не сталкивалась. Результаты показывают прогресс в логических рассуждениях, однако достижение уровня человеческого интеллекта в подобных задачах остается сложной инженерной задачей. Hacker News · Оценка и бенчмарки DeepSeek V4 Flash показала эффективность, сопоставимую с GPT-5.6 в Agentic Memory Benchmark Новый бенчмарк Agentic Memory Benchmark (ATM) продемонстрировал, что модель DeepSeek V4 Flash стоимостью $0,26 за прогон достигает результатов, сопоставимых с GPT-5.6, чей запуск обходится в $5,01. Это подчеркивает значительный разрыв в экономической эффективности современных LLM при выполнении задач, требующих работы с агентной памятью и долгосрочным контекстом. Hacker News · Модели и релизы DeepSeek представила модель V4 Flash Компания DeepSeek выпустила новую итерацию своей языковой модели — V4 Flash. Релиз ориентирован на повышение скорости обработки запросов и оптимизацию вычислительных затрат при сохранении высокой производительности в задачах логического вывода. Модель уже доступна для тестирования и интеграции, предлагая разработчикам более эффективную альтернативу для высоконагруженных систем, требующих минимальных задержек при генерации ответов. Hacker News · Оценка и бенчмарки Достигнут результат 99% в бенчмарке ARC-AGI Исследователи сообщили о преодолении порога в 99% точности в публичном наборе данных бенчмарка ARC-AGI (Abstraction and Reasoning Corpus). Этот показатель демонстрирует значительный прогресс в способности моделей решать задачи на абстрактное мышление и логический вывод, которые ранее считались труднопреодолимыми для систем на базе архитектуры трансформеров, требуя от них способности к обобщению на основе минимального количества примеров. Hacker News · Модели и релизы Анализ производительности и стоимости модели DeepSeek-V4-Flash Аналитическая платформа Artificial Analysis опубликовала детальный разбор новой модели DeepSeek-V4-Flash. Исследование подтверждает высокую эффективность архитектуры, демонстрируя значительный прогресс в соотношении вычислительной мощности и стоимости инференса. Модель показывает конкурентные результаты в бенчмарках, сохраняя при этом низкие задержки, что делает её привлекательным решением для высоконагруженных систем, требующих быстрой обработки данных при ограниченном бюджете на API. Simon Willison's Weblog · Модели и релизы Релиз DeepSeek-V4-Flash: новая модель с улучшенными агентными способностями Компания DeepSeek представила DeepSeek-V4-Flash-0731 — новую модель из серии V4, ориентированную на выполнение сложных агентных задач. При 304 миллиардах параметров модель демонстрирует высокую производительность, превосходя по ряду бенчмарков более крупные аналоги, такие как MiniMax M3. Эффективная архитектура и агрессивная ценовая политика делают её одним из самых конкурентоспособных решений на рынке LLM. Hacker News · Оценка и бенчмарки Представлен ARC-AGI-3: новый стандарт оценки агентного интеллекта Исследователи представили ARC-AGI-3 — обновленный бенчмарк для оценки способности ИИ-систем к абстрактному мышлению и решению задач, выходящих за рамки простого запоминания данных. Новый набор тестов фокусируется на агентных возможностях моделей, требуя от них демонстрации навыков планирования, адаптации к неизвестным условиям и эффективного использования инструментов для достижения сложных целей в динамической среде. Hacker News · Модели и релизы Обзор возможностей модели DeepSeek-V4-Flash-0731 Саймон Уиллисон опубликовал подробный разбор новой модели DeepSeek-V4-Flash-0731, акцентируя внимание на её производительности и эффективности в задачах инференса. Модель демонстрирует значительный прогресс в скорости обработки запросов и качестве генерации кода, что делает её конкурентоспособным решением для разработчиков, стремящихся оптимизировать затраты на API при сохранении высокой точности ответов в сложных агентных сценариях.

← Все материалы