Hacker News · 22.07.2026 ·Оценка и бенчмарки

Исследование: математические способности современных LLM

Исследователи из Дартмутского колледжа проанализировали математические навыки Bing Copilot, работающего на базе GPT-4, и выявили критические недостатки в решении задач. Несмотря на продвинутые языковые возможности, модель часто допускает ошибки в базовой арифметике, логических выводах и интерпретации условий, что ставит под сомнение надежность использования LLM в качестве инструментов для точных вычислений без внешней верификации.

В работе детально разбираются примеры, где ИИ демонстрирует «галлюцинации» при выполнении многошаговых вычислений. Авторы отмечают, что модель склонна к правдоподобным, но математически неверным ответам, что особенно опасно в контексте автоматизации процессов, требующих высокой точности. Исследование подчеркивает разрыв между способностью модели генерировать связный текст и её реальной компетенцией в формальных дисциплинах.

Анализ показывает, что даже при наличии доступа к поисковым инструментам, модель не всегда способна корректно агрегировать данные для решения уравнений. Проблема усугубляется тем, что интерфейс чат-бота создает иллюзию экспертности, скрывая ошибки за уверенным тоном изложения. Это требует пересмотра подходов к использованию генеративных моделей в задачах, где цена ошибки критически высока.

Ключевые факты

Исследование проведено на базе Bing Copilot, использующего архитектуру GPT-4.
Выявлены систематические ошибки в арифметических операциях и логических цепочках.
Модель демонстрирует высокую склонность к генерации неверных ответов при усложнении условий задачи.
Авторы указывают на фундаментальные ограничения LLM в области формальной математики и символьных вычислений.
Результаты работы опубликованы исследователями из Дартмутского колледжа в 2024 году.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Обзор достижений LLM в решении открытых математических задач Исследователи проанализировали способность современных языковых моделей к совершению математических открытий, которые ранее считались нерешенными. В работе рассматривается потенциал LLM в генерации верифицируемых доказательств и поиске новых закономерностей. Авторы оценивают текущие успехи моделей в области формальной математики и определяют границы их автономности при решении задач, требующих глубокого логического вывода и креативного подхода. Hacker News · Исследования и наука Эффективность больших языковых моделей в решении математических задач Исследование анализирует способность современных LLM справляться со сложными математическими задачами, которые ранее считались доступными только для специализированных систем. Автор рассматривает механизмы, позволяющие моделям демонстрировать неожиданно высокие результаты в доказательстве теорем и решении олимпиадных задач, подчеркивая сдвиг в возможностях нейросетей от простого предсказания текста к логическому рассуждению и формальной верификации математических конструкций. arXiv · Оценка и бенчмарки Исследование: почему LLM-судьи склонны к завышению оценок без эталонных ответов Исследователи проанализировали надежность использования LLM в качестве судей для оценки ответов других моделей в задачах без эталонного решения. Выяснилось, что такие «судьи» часто демонстрируют предвзятость и склонны к необоснованному завышению баллов. Это ставит под сомнение точность автоматизированных систем оценки, которые всё чаще применяются для тестирования качества генеративных моделей в условиях отсутствия ground-truth данных. Hacker News · Оценка и бенчмарки Исследование: почему LLM лучше справляются с оценкой кода, чем с обратной связью Авторы исследования проанализировали эффективность LLM при проверке заданий по объектно-ориентированному программированию. Выяснилось, что модели демонстрируют высокую точность при выставлении оценок, однако часто допускают ошибки при формировании качественной обратной связи. Разрыв между способностью к объективному оцениванию и предоставлением полезных рекомендаций для обучения студентов остается существенным барьером для автоматизации образовательных процессов. Hacker News · Исследования и наука Анализ ограничений LLM в задачах программирования Исследование функциональных возможностей современных языковых моделей показывает, что они сталкиваются с фундаментальными трудностями при написании корректного программного кода. Несмотря на способность генерировать синтаксически верные конструкции, модели часто не справляются с логической связностью, управлением состоянием и долгосрочным планированием, что делает их использование в сложных инженерных задачах без контроля разработчика рискованным. Hacker News · Исследования и наука Исследование: LLM могут имитировать логику без понимания концепций Новое исследование ставит под сомнение способность больших языковых моделей к истинному пониманию абстрактных концепций. Анализ показывает, что модели часто полагаются на статистические закономерности и заученные ассоциации, а не на построение внутренних логических моделей. Это означает, что при изменении контекста или условий задачи производительность систем может резко падать, несмотря на внешнюю убедительность ответов. Hacker News · Исследования и наука Год попыток решить сложнейшую математическую задачу с помощью ИИ Математик и исследователь провел годовой эксперимент, пытаясь использовать современные LLM для решения открытых задач теории чисел, в частности гипотезы Коллатца. Несмотря на впечатляющие способности моделей к написанию кода и логическим рассуждениям, ИИ столкнулся с фундаментальными ограничениями: неспособностью к глубокому абстрактному доказательству и склонностью к галлюцинациям при работе со сложными математическими структурами. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. Hacker News · Исследования и наука Исследование: недоопределенность не ведет к бессвязности кода в LLM Новое исследование опровергает распространенное мнение о том, что нечеткие или неполные инструкции (underspecification) неизбежно приводят к генерации нелогичного или неработоспособного кода моделями. Авторы работы проанализировали поведение современных LLM и доказали, что модели способны сохранять связность и следовать контексту даже при наличии значительных пробелов в исходных требованиях, предлагая валидные программные решения. Hacker News · Оценка и бенчмарки Новый бенчмарк Baba Is Solved проверяет способности LLM к логическому мышлению Исследователи представили бенчмарк Baba Is Solved, основанный на правилах логической игры Baba Is You. Тест оценивает способность моделей к абстрактному мышлению и планированию в условиях динамически меняющихся правил. Результаты показывают, что даже передовые LLM сталкиваются с серьезными трудностями при решении задач, требующих глубокого понимания логических связей и долгосрочного планирования действий.

← Все материалы