Hacker News · 01.08.2026 ·Оценка и бенчмарки

Критический анализ математических способностей современных LLM

Исследователи провели независимую проверку математических навыков передовых языковых моделей, выявив значительные расхождения между заявленными результатами и реальной производительностью. Анализ показал, что многие модели демонстрируют признаки «заучивания» тестовых наборов данных, что приводит к завышению метрик точности при решении сложных задач, требующих глубокого логического вывода, а не простого воспроизведения паттернов из обучающей выборки.

Проблема загрязнения данных (data contamination) становится критическим фактором для оценки прогресса в области ИИ. Когда тестовые задачи попадают в обучающую выборку, модели показывают впечатляющие результаты на бенчмарках, но теряют эффективность при столкновении с уникальными, ранее не встречавшимися математическими проблемами. Это ставит под сомнение надежность текущих лидербордов как индикаторов реального интеллекта систем.

Эксперты подчеркивают необходимость перехода к динамическим методам тестирования, где задачи генерируются алгоритмически или требуют многошагового доказательства, которое невозможно найти в открытом доступе. Только такой подход позволяет объективно измерить способность модели к абстрактному мышлению и математическому анализу, исключая влияние эффекта памяти.

Ключевые факты

Выявлено существенное влияние загрязнения данных на итоговые баллы в математических бенчмарках.
Модели показывают резкое снижение точности при изменении формулировок задач, которые ранее входили в обучающие сеты.
Текущие методы оценки переоценивают способности LLM к решению задач олимпиадного уровня сложности.
Рекомендуется внедрение закрытых тестовых наборов данных для более точного измерения прогресса в логических рассуждениях.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Эффективность больших языковых моделей в решении математических задач Исследование анализирует способность современных LLM справляться со сложными математическими задачами, которые ранее считались доступными только для специализированных систем. Автор рассматривает механизмы, позволяющие моделям демонстрировать неожиданно высокие результаты в доказательстве теорем и решении олимпиадных задач, подчеркивая сдвиг в возможностях нейросетей от простого предсказания текста к логическому рассуждению и формальной верификации математических конструкций. Hacker News · Оценка и бенчмарки Исследование: математические способности современных LLM Исследователи из Дартмутского колледжа проанализировали математические навыки Bing Copilot, работающего на базе GPT-4, и выявили критические недостатки в решении задач. Несмотря на продвинутые языковые возможности, модель часто допускает ошибки в базовой арифметике, логических выводах и интерпретации условий, что ставит под сомнение надежность использования LLM в качестве инструментов для точных вычислений без внешней верификации. Hacker News · Оценка и бенчмарки Исследование: почему LLM лучше справляются с оценкой кода, чем с обратной связью Авторы исследования проанализировали эффективность LLM при проверке заданий по объектно-ориентированному программированию. Выяснилось, что модели демонстрируют высокую точность при выставлении оценок, однако часто допускают ошибки при формировании качественной обратной связи. Разрыв между способностью к объективному оцениванию и предоставлением полезных рекомендаций для обучения студентов остается существенным барьером для автоматизации образовательных процессов. Hacker News · Оценка и бенчмарки Почему публичные бенчмарки LLM часто вводят в заблуждение Публичные бенчмарки для больших языковых моделей часто не отражают реальную производительность при решении прикладных задач. Анализ показывает, что популярные тесты, такие как MMLU или GSM8K, подвержены проблеме «загрязнения» данных, когда тестовые вопросы попадают в обучающую выборку. Это приводит к завышенным результатам, которые не коррелируют с качеством работы моделей в реальных бизнес-сценариях. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. arXiv · Оценка и бенчмарки Исследование: почему LLM-судьи склонны к завышению оценок без эталонных ответов Исследователи проанализировали надежность использования LLM в качестве судей для оценки ответов других моделей в задачах без эталонного решения. Выяснилось, что такие «судьи» часто демонстрируют предвзятость и склонны к необоснованному завышению баллов. Это ставит под сомнение точность автоматизированных систем оценки, которые всё чаще применяются для тестирования качества генеративных моделей в условиях отсутствия ground-truth данных. Hacker News · Оценка и бенчмарки Почему усреднение результатов бенчмарков LLM вводит в заблуждение Исследователи доказали, что агрегирование оценок LLM через простое усреднение баллов по разным бенчмаркам статистически некорректно и искажает реальные возможности моделей. Авторы работы показывают, что из-за разной сложности задач и неравномерного покрытия навыков итоговый рейтинг не отражает истинную производительность, предлагая вместо этого использовать более строгие методы анализа распределения метрик для оценки прогресса ИИ. Hacker News · Исследования и наука Сжатие LLM: почему высокая точность не гарантирует безопасность ответов Исследователи обнаружили, что методы сжатия LLM, такие как квантование и прунинг, позволяют моделям сохранять высокую точность на стандартных бенчмарках, но при этом провоцируют рост галлюцинаций. Даже при прохождении автоматических проверок качества сжатые модели начинают чаще выдумывать факты, что ставит под сомнение надежность оптимизированных систем в критических сценариях использования. Hacker News · Исследования и наука Исследование: LLM могут имитировать логику без понимания концепций Новое исследование ставит под сомнение способность больших языковых моделей к истинному пониманию абстрактных концепций. Анализ показывает, что модели часто полагаются на статистические закономерности и заученные ассоциации, а не на построение внутренних логических моделей. Это означает, что при изменении контекста или условий задачи производительность систем может резко падать, несмотря на внешнюю убедительность ответов. arXiv · Исследования и наука Исследование: как «предвзятость значимости» мешает LLM в здравом смысле Исследователи выявили критическую уязвимость современных больших языковых моделей, названную «предвзятостью значимости» (Salience Bias). В задачах на здравый смысл модели склонны чрезмерно полагаться на явные, но бесполезные детали во входных данных, такие как случайные числа или второстепенные условия. Это приводит к игнорированию контекста и логическим ошибкам, даже если модель способна решать сложные задачи.

← Все материалы