Hacker News · 17.06.2026 ·Исследования и наука

Оценка и бенчмарки для понимания длинных видео

Исследователи представили второй этап работы по пониманию длинных видео, посвящённый оценке и бенчмаркам. В статье рассматриваются методы оценки эффективности моделей, которые анализируют видео продолжительностью более часа.

Авторы подчеркивают важность создания стандартизированных наборов данных и метрик для сравнения различных подходов. Они предлагают несколько новых бенчмарков, которые учитывают как точность распознавания, так и контекстное понимание видео.

Особое внимание уделено проблемам, связанным с обработкой длинных видео, включая управление памятью и вычислительными ресурсами. Исследователи также обсуждают перспективы применения таких моделей в реальных сценариях, таких как анализ контента для стриминговых сервисов и автоматизированная транскрипция.

Статья содержит подробный обзор существующих методов и предлагает рекомендации по улучшению текущих подходов. Исследователи надеются, что их работа поможет ускорить развитие технологий понимания длинных видео и их интеграцию в коммерческие продукты.

Источник: Hacker News

Похожие материалы

Together.ai · Оркестрация агентов Как слабые модели справляются с длинным контекстом Исследователи из Together AI предложили новый подход к обработке длинных текстов с помощью небольших языковых моделей. Они разработали фреймворк «Divide & Conquer», который разбивает длинные документы на параллельные части и обрабатывает их с помощью нескольких моделей. Hacker News · Оценка и бенчмарки Почему современные бенчмарки LLM теряют актуальность Существующие методы оценки больших языковых моделей все чаще подвергаются критике из-за несоответствия реальным задачам пользователей. Традиционные бенчмарки, основанные на статических наборах вопросов и ответов, перестали быть надежным индикатором качества работы ИИ. Проблема заключается в том, что модели обучаются на огромных массивах данных, которые часто включают в себя сами тестовые задания. Это приводит к «зазубриванию» ответов и завышению показателей, которые не отражают реальную способность системы к рассуждению или решению нестандартных проблем. Hacker News · Оценка и бенчмарки Проблемы с бенчмарками для промптов Бенчмарки для оценки качества промптов часто сталкиваются с рядом проблем, которые могут искажать результаты. В новой статье рассматриваются ключевые аспекты, такие как избыточность данных и некорректные методы тестирования. arXiv · Оценка и бенчмарки Исследование: как ИИ справляется с юридическим мышлением по стандартам ЕС Исследователи из arXiv выявили пробел в оценке способностей ИИ-моделей выполнять юридическое мышление. Существующие бенчмарки фокусируются на вспомогательных задачах, а не на интерпретации правовых норм, что критически важно для применения ИИ в юриспруденции. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах. arXiv · Модели и релизы Как улучшить точность небольших моделей кода без переобучения Исследователи из DeepSeek и других организаций представили новый подход к повышению точности небольших моделей кода без необходимости их переобучения. В работе рассматриваются так называемые «замороженные» модели кода (с параметрами ≤45 миллионов), которые не поддаются стандартным методам улучшения качества вывода. Hacker News · Оценка и бенчмарки BEAVER: новый бенчмарк для оценки LLM в Text-to-SQL Исследователи представили BEAVER — новый бенчмарк для оценки способности языковых моделей (LLM) преобразовывать текстовые запросы в SQL. Это важный шаг в развитии ИИ-агентов, которые могут работать с базами данных, так как Text-to-SQL является критически важной задачей для автоматизации аналитики и управления данными. Hacker News · Оценка и бенчмарки Исследование: обрезанные LLM проваливают тесты на открытые вопросы Исследователи из Стэнфорда и MIT провели исследование, показавшее, что обрезанные (pruned) языковые модели, успешно проходящие тесты с выбором ответа, часто не справляются с задачами, требующими свободного ответа. В статье, опубликованной на arXiv, авторы утверждают, что традиционные бенчмарки могут давать ложное представление о способностях моделей. Hacker News · Оценка и бенчмарки Large Text Compression Benchmark сравнивает алгоритмы сжатия для больших текстов Исследовательский проект Large Text Compression Benchmark представляет собой сравнительный анализ различных алгоритмов сжатия текста. В рамках проекта оцениваются эффективность и производительность алгоритмов при работе с большими объемами текстовой информации. Это особенно важно для разработчиков ИИ-агентов, так как сжатие текста может значительно снизить нагрузку на память и ускорить обработку данных. Mistral AI Blog · Память и RAG Как тонкая настройка улучшает работу визуально-языковых моделей на спутниковых снимках Исследователи из Mistral AI продемонстрировали, как тонкая настройка визуально-языковых моделей (VLMs) может значительно улучшить их работу с спутниковыми снимками. В новом исследовании показано, что адаптация моделей под специфику спутниковых данных позволяет точнее анализировать и интерпретировать изображения.

← Все материалы