Hacker News · 08.07.2026 ·Машинное обучение

Расследование галлюцинаций: как LLM цитирует несуществующие данные

Исследователи провели аудит работы LLM, столкнувшись с регулярным появлением вымышленных цитат в ответах модели. Проанализировав 30 тысяч записей в базе данных, команда обнаружила, что источником «галлюцинаций» стали фрагменты их собственных системных промптов, которые модель ошибочно интерпретировала как часть обучающего корпуса или контекста, искажая итоговую выдачу для пользователя.

Проблема возникла из-за того, что модель не смогла четко разграничить инструкции, заданные разработчиками, и фактические данные, хранящиеся в базе. В процессе генерации текста LLM начала «цитировать» саму себя, превращая технические описания и системные установки в псевдо-факты. Это привело к появлению в ответах ссылок на несуществующие документы, которые выглядели убедительно из-за правильной стилистики.

Этот кейс демонстрирует критическую уязвимость в архитектуре RAG-систем, где граница между контекстом и инструкцией размывается. Ошибка подчеркивает необходимость более строгой изоляции системных промптов от пользовательских данных и индексируемого контента, чтобы предотвратить самореференцию модели, которая приводит к генерации недостоверной информации.

Ключевые факты

Анализ охватил массив из 30 000 записей, используемых для RAG-системы.
Выявлено, что модель принимала фрагменты системных инструкций за реальные данные из базы.
Галлюцинации возникали из-за отсутствия четкой семантической разметки между метаданными промпта и контентом.
Исследование подтвердило, что даже при наличии качественной базы знаний модель может искажать факты, если системный промпт слишком сильно влияет на интерпретацию контекста.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Почему LLM склонны к галлюцинациям вместо признания незнания Языковые модели часто генерируют неверные ответы из-за особенностей обучения на предсказание следующего токена. Вместо оценки достоверности информации, архитектура трансформеров стремится минимизировать ошибку предсказания, заполняя пробелы в знаниях статистически вероятными, но фактически ложными данными. Это фундаментальное различие между поиском истины и имитацией правдоподобного текста создает проблему галлюцинаций в агентных системах. Hacker News · Исследования и наука Влияние URL в промптах на генерацию LLM Исследование подтверждает, что включение URL-адресов в промпты существенно влияет на ответы LLM, даже если модель не имеет прямого доступа к интернету. Модели склонны «галлюцинировать» или экстраполировать содержание по ссылкам, основываясь на своих обучающих данных. Это создает риски непредсказуемого поведения агентов при работе с внешними источниками информации в промптах. Hacker News · Безопасность и алайнмент Исследование галлюцинаций ИИ при раскрытии финансовой информации Новое исследование анализирует проблему «галлюцинаций» в больших языковых моделях при обработке корпоративной финансовой отчетности. Авторы работы выявили, что ИИ-системы склонны к генерации недостоверных данных, когда сталкиваются со сложными математическими вычислениями в контексте раскрытия информации. Это создает серьезные риски для автоматизированных систем финансового анализа, требующих высокой точности и проверяемости данных в отчетности. Hacker News · Исследования и наука Манипуляция заголовками новостей в алгоритмической торговле на базе LLM Исследователи проанализировали уязвимости алгоритмических торговых систем, использующих LLM для анализа новостных заголовков. Выяснилось, что специально сформированные «отравленные» заголовки могут провоцировать модели на ошибочную интерпретацию рыночных настроений, что приводит к неверным торговым решениям. Работа демонстрирует критические риски безопасности для финансовых ИИ-систем, полагающихся на нефильтрованные потоки данных из открытых источников. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса. Simon Willison's Weblog · Разработка и инструменты Проблема галлюцинаций в структурированном выводе LLM при вызове инструментов Разработчики столкнулись с неожиданной проблемой: современные модели, включая Claude 3 Opus, начали добавлять вымышленные поля в аргументы при вызове внешних инструментов. Несмотря на корректность самой логики действий, нарушение схемы данных приводит к сбоям в работе API. Это создает критические риски для надежности агентных систем, где строгое соблюдение формата вывода является обязательным условием интеграции. Hacker News · Исследования и наука Исследование: недоопределенность не ведет к бессвязности кода в LLM Новое исследование опровергает распространенное мнение о том, что нечеткие или неполные инструкции (underspecification) неизбежно приводят к генерации нелогичного или неработоспособного кода моделями. Авторы работы проанализировали поведение современных LLM и доказали, что модели способны сохранять связность и следовать контексту даже при наличии значительных пробелов в исходных требованиях, предлагая валидные программные решения. Hacker News · Безопасность и алайнмент Обнаружены признаки внедрения системных промптов в ответы моделей Anthropic Пользователи обнаружили, что модели Anthropic могут раскрывать части своих системных инструкций при определенных запросах. Это явление, напоминающее классическую атаку через инъекцию промпта, ставит под вопрос надежность изоляции внутренних директив разработчика от пользовательского ввода. Подобные утечки позволяют сторонним лицам частично реконструировать скрытые правила поведения и ограничения, заданные моделью при развертывании. Hacker News · Машинное обучение Ограничения обучения на знаниях LLM Исследование указывает на фундаментальную проблему при попытке дообучения моделей на основе их собственных ответов. Авторы анализируют, почему использование синтетических данных, сгенерированных самой нейросетью, часто приводит к деградации качества, а не к улучшению навыков. Основная сложность заключается в том, что модель при дообучении начинает воспроизводить собственные статистические ошибки и галлюцинации, закрепляя их как эталонные знания. arXiv · Исследования и наука Языковые модели как базы знаний: анализ согласованности фактов Исследователи проанализировали, насколько языковые модели способны выступать в роли надежных баз знаний. Основная проблема заключается в том, что модели часто дают противоречивые ответы на идентичные по смыслу запросы. Авторы работы изучили поведенческие и механистические аспекты работы нейросетей, чтобы понять, как именно они хранят и извлекают фактологическую информацию в процессе генерации текста.

← Все материалы