arXiv · 16.06.2026 ·Исследования и наука

ChLogic: тестирование логического мышления моделей на китайском

Исследователи представили новый бенчмарк ChLogic, который оценивает способность языковых моделей сохранять логическое мышление при работе с китайскими выражениями. В отличие от английских тестов, ChLogic проверяет, как модели справляются с логическими структурами, представленными на китайском языке.

Стандартные бенчмарки показывают, что модели хорошо справляются с логическими задачами на английском. Однако остаётся неясным, сохраняется ли этот уровень при работе с другими языками. ChLogic включает задачи, где одна и та же логическая структура представлена на английском и китайском, что позволяет оценить устойчивость моделей.

Авторы отмечают, что китайский язык имеет уникальные особенности, такие как отсутствие пробелов между словами и сложные грамматические конструкции. Это делает ChLogic важным инструментом для оценки способности моделей адаптироваться к различным языковым особенностям.

Результаты исследования показывают, что текущие модели демонстрируют разный уровень производительности на китайском и английском. Это указывает на необходимость дальнейших исследований и улучшений в области многозначного логического мышления.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Исследования и наука VibeThinker-3B: новый подход к верифицируемому рассуждению в небольших языковых моделях Исследователи представили VibeThinker-3B — небольшую языковую модель, способную выполнять верифицируемое рассуждение. Это значит, что модель может не только генерировать ответы, но и предоставлять обоснования для своих выводов, что делает её более прозрачной и надежной. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). Hugging Face - Blog · Оценка и бенчмарки VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · Оценка и бенчмарки Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. Hacker News · Модели и релизы Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. arXiv · Память и RAG Исследование: ИИ и люди используют схожие механизмы мышления Новое исследование, опубликованное на arXiv, бросает вызов распространённому мнению о том, что люди и ИИ используют принципиально разные механизмы мышления. Авторы сравнили способность людей и больших языковых моделей (LLM) к обобщению и логическому выводу. Они обнаружили, что и те, и другие часто полагаются на сопоставление шаблонов, а не на строгие абстрактные модели мира. arXiv · Исследования и наука Как цепочки рассуждений влияют на ответы ИИ-моделей Исследователи изучили, как цепочки рассуждений (Chain-of-Thought, CoT) влияют на точность ответов языковых моделей. Они выяснили, что не все шаги в цепочке одинаково важны для итогового результата. Для оценки значимости каждого шага использовался метод раннего выхода (early exit), который позволяет определить, насколько конкретный шаг влияет на конечный ответ. arXiv · Инференс и железо Как вычислительные ресурсы влияют на оценку крупных языковых моделей Исследование на arXiv показывает, что современные оценки ИИ переходят на более сложные задачи, требующие длительных траекторий с использованием инструментов и итеративного решения проблем. Это делает результаты всё более чувствительными к объёму и распределению вычислительных ресурсов во время инференса.

← Все материалы