arXiv · 27.07.2026 ·Оценка и бенчмарки

D-Score: новый метод обнаружения галлюцинаций через анализ скрытых состояний LLM

Исследователи представили D-Score — метрику для выявления галлюцинаций в больших языковых моделях, основанную на анализе геометрии скрытых активаций. Метод использует спектральную статистику, вычисляемую за один проход модели (forward pass), что позволяет эффективно определять фактологическую недостоверность ответов без необходимости в дополнительных обучающих выборках или сложных внешних проверках.

Традиционные подходы к борьбе с галлюцинациями часто требуют значительных вычислительных ресурсов или доступа к внешним базам знаний для верификации. D-Score фокусируется на внутренних представлениях модели, анализируя спектральные характеристики сигналов в скрытых слоях. Это позволяет системе «понимать», когда генерируемый текст противоречит информации, уже заложенной в весах нейросети, или не имеет под собой достаточных доказательств.

Применение данного метода дает возможность интегрировать механизмы самоконтроля непосредственно в процесс инференса. Поскольку расчет D-Score требует минимальных затрат ресурсов, он может стать эффективным инструментом для мониторинга качества ответов в реальном времени, повышая надежность систем, работающих на базе LLM в критически важных областях.

Ключевые факты

D-Score вычисляется на основе спектрального анализа скрытых состояний нейронной сети.
Метод требует выполнения всего одного прямого прохода (forward pass) для оценки достоверности.
Алгоритм позволяет обнаруживать галлюцинации, которые противоречат внутренним представлениям модели.
Подход не требует дообучения или использования внешних инструментов верификации данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Grad Detect: новый метод выявления галлюцинаций через анализ градиентов Исследователи представили Grad Detect — метод обнаружения галлюцинаций в больших языковых моделях, основанный на анализе градиентов. В отличие от подходов, требующих множественных прогонов или внешних баз знаний, технология анализирует паттерны градиентов на разных слоях нейросети в ходе одного цикла обратного распространения ошибки. Это позволяет эффективно выявлять недостоверные ответы непосредственно в процессе генерации текста. Hacker News · Оценка и бенчмарки Использование LLM для оценки качества поисковой выдачи через метрику NDCG Для оценки качества поисковых систем теперь применяют LLM в качестве судей, автоматизирующих расчет метрики NDCG (Normalized Discounted Cumulative Gain). Этот подход позволяет заменить дорогостоящую ручную разметку релевантности документов, используя возможности больших языковых моделей для анализа соответствия результатов поискового запроса намерениям пользователя, что значительно ускоряет итерации при настройке алгоритмов поиска. arXiv · Исследования и наука Новый метод анализа внимания LLM при работе с длинным контекстом Исследователи представили метод Logit-Contribution Scoring для идентификации «нелитеральных» голов внимания в LLM. В отличие от традиционных подходов, которые ищут прямое копирование токенов из контекста, новый метод выявляет механизмы синтеза смыслов. Это позволяет точнее интерпретировать, как модели формируют ответы на основе длинных документов, не полагаясь на простое цитирование фрагментов текста. Hacker News · Машинное обучение J-Space: новый метод интерпретации скрытых состояний LLM Исследователи представили J-Space — подход к анализу внутреннего пространства состояний больших языковых моделей. Метод позволяет сопоставлять скрытые представления модели с конкретными концептами и логическими структурами, что делает «черный ящик» нейросетей более прозрачным. Это открывает новые возможности для отладки моделей, контроля их поведения и глубокого понимания того, как именно LLM формируют свои ответы на основе входных данных. Hacker News · Исследования и наука Исследование DS4: как латентное рассуждение меняет логику LLM Исследователи представили метод DS4 (Deep Search, Deep Synthesis, Deep Selection, Deep Strategy), направленный на улучшение логического мышления языковых моделей. В отличие от стандартных подходов, DS4 фокусируется на латентном рассуждении, позволяя модели глубже анализировать контекст и избегать типичных когнитивных искажений, таких как гендерные стереотипы при решении логических задач. arXiv · Исследования и наука Новый метод повышения надежности LLM в условиях неопределенности Исследователи представили новый подход к генерации ответов и принятию решений для больших языковых моделей (LLM) в задачах с высокой степенью субъективности. Метод позволяет моделям лучше оценивать уровень собственной неуверенности, что критически важно для минимизации галлюцинаций и повышения доверия к результатам ИИ в сложных сценариях, где однозначный ответ отсутствует или требует экспертной интерпретации. arXiv · Исследования и наука Метакогнитивная обратная связь повышает точность оценки уверенности LLM Исследователи представили метод обучения с подкреплением (RL), который наделяет большие языковые модели способностью к метапознанию — мониторингу собственных когнитивных процессов. Внедрение метакогнитивной обратной связи позволяет моделям более точно выражать внутреннюю неуверенность, снижая склонность к самоуверенным галлюцинациям и помогая системе лучше распознавать границы своих знаний в сложных задачах. Hacker News · Исследования и наука Топологический контроль как метод повышения надежности LLM Исследователи предложили новый подход к управлению поведением больших языковых моделей через топологический анализ их скрытых пространств. Метод направлен на ограничение «галлюцинаций» и нежелательных ответов путем математического контроля траекторий активации нейронов. Это позволяет сделать работу ИИ более предсказуемой и интерпретируемой, обеспечивая математические гарантии безопасности при генерации контента в критически важных областях. arXiv · Исследования и наука Анализ активаций нейросетей для предсказания галлюцинаций Исследователи изучили, как внутренние активации языковых моделей Bielik позволяют предсказать вероятность галлюцинаций до генерации ответа. Анализ показал, что дисперсия активаций тесно связана с тем, насколько модель «знакома» с сущностью, что позволяет эффективно разделять случаи фактической надежности и потенциальных ошибок в ответах моделей разного масштаба. Hacker News · Оценка и бенчмарки Методология оценки и выбора LLM для продакшн-систем Команда Braintrust представила детальный подход к оценке производительности LLM, который помогает компаниям выбирать оптимальные модели для конкретных задач. Вместо слепого доверия общим бенчмаркам, авторы предлагают использовать специализированные наборы данных и автоматизированные метрики качества, что позволяет объективно сравнивать модели при внедрении в реальные бизнес-процессы и минимизировать риски при смене версий нейросетей.

← Все материалы