arXiv · 14.06.2026 ·Проблемы каузального рассуждения в ИИ-агентах

Исследование: как языковые модели теряют логику при замене переменных

Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию.

Исследование, опубликованное на arXiv, показывает, что даже инструкционно-настроенные модели (например, GPT-4) уязвимы к такому эффекту. Авторы предлагают гипотезу, что это связано с «представленческим несоответствием» — моделям сложно выделять причинно-следственные связи, если переменные заменены на абстрактные маркеры.

Для разработчиков ИИ-агентов это важно, потому что многие задачи требуют каузального рассуждения. Например, если агент должен анализировать цепочки событий или принимать решения на основе причинно-следственных связей, замена переменных в запросах может привести к некорректным выводам. Это особенно актуально для агентов, работающих с абстрактными или формализованными данными.

Авторы предлагают несколько направлений для дальнейших исследований, включая улучшение механизмов интерпретации моделей и разработку методов, которые минимизируют потерю информации при замене переменных. Это может быть полезно для создания более надёжных и логически последовательных ИИ-агентов.

Источник: arXiv

Похожие материалы

arXiv · Исследование цепочек рассуждений в ИИ Как цепочки рассуждений влияют на ответы ИИ-моделей Исследователи изучили, как цепочки рассуждений (Chain-of-Thought, CoT) влияют на точность ответов языковых моделей. Они выяснили, что не все шаги в цепочке одинаково важны для итогового результата. Для оценки значимости каждого шага использовался метод раннего выхода (early exit), который позволяет определить, насколько конкретный шаг влияет на конечный ответ. Lobsters · Исследования ИИ и поведение ИИ-модели передают поведенческие черты через скрытые сигналы в данных Недавнее исследование, опубликованное в журнале Nature, показало, что языковые модели могут передавать поведенческие черты через скрытые сигналы в данных. Ученые обнаружили, что модели, обученные на данных, содержащих определенные поведенческие паттерны, могут воспроизводить эти паттерны даже в новых, ранее не встречавшихся контекстах. Hacker News · Исследования и языковые модели Исследование: языковые модели и человеческий мозг используют схожие концептуальные пространства Новое исследование, опубликованное на arXiv, показывает, что языковые модели (LLMs) и человеческий мозг используют схожие концептуальные пространства для обработки информации, даже если они работают на разных языках. Это открытие может иметь значительные последствия для разработки ИИ-агентов, так как оно подтверждает, что языковые модели способны моделировать когнитивные процессы, аналогичные человеческим. Hacker News · Обучение ИИ и его ограничения Почему ИИ-модели перестают учиться Исследование, опубликованное на Tagide, раскрывает феномен "learning stall" — ситуацию, когда ИИ-модели перестают улучшать свои показатели несмотря на дальнейшее обучение. Авторы статьи анализируют причины этого явления, включая насыщение данных, ограничения архитектуры моделей и проблемы с оптимизацией. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Самоулучшение ИИ-агентов Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. arXiv · ИИ и человеческое мышление Исследование: ИИ и люди используют схожие механизмы мышления Новое исследование, опубликованное на arXiv, бросает вызов распространённому мнению о том, что люди и ИИ используют принципиально разные механизмы мышления. Авторы сравнили способность людей и больших языковых моделей (LLM) к обобщению и логическому выводу. Они обнаружили, что и те, и другие часто полагаются на сопоставление шаблонов, а не на строгие абстрактные модели мира. Hacker News · Развитие языковых моделей Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. Lobsters · Исследования ИИ Исследование: почему глубина моделей может быть их проклятием Новое исследование, опубликованное на arXiv, поднимает важный вопрос о том, как глубина архитектуры больших языковых моделей (LLM) влияет на их производительность. Авторы работы утверждают, что увеличение глубины моделей может привести к так называемому "проклятию глубины", когда дополнительные слои не только не улучшают, но и ухудшают качество генерации текста.

← Все материалы