arXiv · 24.07.2026 ·Оценка и бенчмарки

Исследование стабильности ответов LLM на спорные научные утверждения

Исследователи проанализировали, как четыре ведущих семейства LLM (Claude, Grok, GPT, Gemini) оценивают псевдонаучные концепции в период с октября 2025 по февраль 2026 года. Результаты показали, что модели демонстрируют нестабильное и непрозрачное поведение при проверке спорных утверждений, а их ответы существенно зависят от конфигурации развертывания и способа взаимодействия с пользователем через API или веб-интерфейс.

Работа фокусируется на том, как коммерческие системы, используемые в качестве справочных источников знаний, справляются с фильтрацией и валидацией информации, основанной на биосоциальных теориях Фрэнка Солтера. Авторы подчеркивают, что отсутствие единых стандартов в настройках безопасности и системных промптах приводит к тому, что одна и та же модель может выдавать разные вердикты в зависимости от времени запроса и технического контекста.

Данное исследование поднимает вопрос о надежности ИИ как инструмента для верификации фактов. Непрозрачность процессов «эпистемического посредничества» в моделях затрудняет предсказание того, как система отреагирует на дискуссионные темы, что создает риски при использовании LLM в образовательных или аналитических целях, где требуется высокая точность и нейтральность аргументации.

Ключевые факты

В исследовании протестированы четыре семейства моделей: Claude, Grok, GPT и Gemini.
Период наблюдений охватил временной интервал с октября 2025 года по февраль 2026 года.
Анализировалась реакция моделей на этнонационалистическую псевдонауку, основанную на биосоциальной модели Фрэнка Солтера.
Выявлена значительная вариативность ответов в зависимости от способа доступа (API против веб-интерфейса) и времени совершения запроса.
Установлено, что конфигурации развертывания напрямую влияют на то, как модель классифицирует спорные научные утверждения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки Исследование влияния формы выражения убеждений на ответы LLM Исследователи проанализировали, как лингвистические нюансы в запросах пользователей влияют на способность LLM различать факты и субъективные убеждения. Работа показывает, что использование пресуппозиций, маркеров уверенности и различных тональностей в сообщениях существенно меняет поведение моделей, заставляя их либо принимать контекст пользователя как истину, либо опираться на собственные внутренние знания. arXiv · Исследования и наука Исследование: в диалогах LLM между собой возникают устойчивые состояния-аттракторы Исследователи проанализировали динамику взаимодействия больших языковых моделей в многоходовых диалогах. Выяснилось, что в ходе дискуссий модели склонны переходить в «состояния-аттракторы» — устойчивые паттерны поведения, которые не зависят от изначальной темы обсуждения. Это открытие ставит под сомнение предсказуемость долгосрочных агентных взаимодействий и указывает на наличие скрытых ограничений в архитектуре современных LLM. arXiv · Оценка и бенчмарки Исследование: почему LLM-судьи склонны к завышению оценок без эталонных ответов Исследователи проанализировали надежность использования LLM в качестве судей для оценки ответов других моделей в задачах без эталонного решения. Выяснилось, что такие «судьи» часто демонстрируют предвзятость и склонны к необоснованному завышению баллов. Это ставит под сомнение точность автоматизированных систем оценки, которые всё чаще применяются для тестирования качества генеративных моделей в условиях отсутствия ground-truth данных. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. Hacker News · Исследования и наука Исследование: LLM приводят к «коллапсу аргументации» в публичных дискуссиях Исследователи выявили феномен «коллапса аргументации», при котором использование LLM в публичных дискуссиях ведет к упрощению и гомогенизации мнений. Анализ показывает, что модели склонны сглаживать острые углы и предлагать усредненные ответы, что снижает разнообразие аргументов в долгосрочных дебатах. Это создает риск потери критического мышления и глубины анализа в общественном дискурсе при массовом внедрении ИИ-генерации. Hacker News · Машинное обучение Исследование: как экспертные знания влияют на качество ответов LLM Новое исследование показывает, что качество ответов больших языковых моделей напрямую зависит от уровня экспертизы пользователя в заданном вопросе. Модели демонстрируют значительно более высокую точность и глубину проработки, когда промпты содержат профессиональную терминологию и специфический контекст. Это подтверждает гипотезу, что эффективность ИИ-инструментов ограничена не только архитектурой модели, но и качеством входных данных от специалиста. Hacker News · Оценка и бенчмарки Исследование выявило языковую предвзятость LLM при оценке ответов Исследователи обнаружили, что современные LLM, используемые в качестве автоматических судей, демонстрируют значительную предвзятость при оценке ответов на разных языках. Модели склонны завышать оценки текстам на английском языке и занижать их для других языков, даже если качество контента идентично. Это ставит под сомнение надежность текущих методов автоматизированного тестирования ИИ-систем в мультиязычных средах. Hacker News · Исследования и наука Исследование: как LLM защищают свои ложные воспоминания Исследователи обнаружили, что большие языковые модели склонны упорно защищать сгенерированную ими ложную информацию, если она звучит лингвистически убедительно. В ходе экспериментов выяснилось, что модели с большей вероятностью настаивают на неверных фактах, если те сформулированы грамматически безупречно и логично, демонстрируя своего рода «когнитивное искажение» в пользу собственной беглости речи, а не фактической точности. Hacker News · Оценка и бенчмарки Исследование: математические способности современных LLM Исследователи из Дартмутского колледжа проанализировали математические навыки Bing Copilot, работающего на базе GPT-4, и выявили критические недостатки в решении задач. Несмотря на продвинутые языковые возможности, модель часто допускает ошибки в базовой арифметике, логических выводах и интерпретации условий, что ставит под сомнение надежность использования LLM в качестве инструментов для точных вычислений без внешней верификации. Hacker News · Оценка и бенчмарки Исследование: ансамбли LLM редко превосходят лучшие одиночные модели Масштабное исследование 67 различных языковых моделей показало, что стратегии объединения нескольких LLM в ансамбли для улучшения ответов зачастую не дают значимого прироста качества. В большинстве случаев производительность комбинированной системы ограничена возможностями самой сильной модели в группе, что ставит под сомнение эффективность сложных схем оркестрации для повышения точности генерации.

← Все материалы