Исследователи проанализировали проблему пропуска критически важной информации в автономных ИИ-системах, работающих в изолированных (air-gapped) средах. При использовании квантованных моделей размером 4–8 млрд параметров агенты часто игнорируют значительные объемы данных, что приводит к ошибочным выводам. Авторы предложили послойную таксономию ошибок, позволяющую отследить, на каком этапе обработки происходит потеря фактов в цепочках рассуждений.

В условиях ограниченных ресурсов, где использование внешних API невозможно, разработчики полагаются на локальные инференс-движки вроде llama.cpp или vLLM. Однако при анализе больших массивов данных, таких как медицинские записи FHIR или юридические документы, модели демонстрируют «молчаливые пропуски». Агент может проанализировать лишь малую часть предоставленного контекста, не сообщая об ошибке, что критично для систем, требующих высокой точности и полноты данных.

Работа вводит метод послойной атрибуции (per-layer attribution), который позволяет выявить, какие слои нейронной сети наиболее склонны к «забыванию» или игнорированию входных токенов. Это помогает оптимизировать архитектуру агентов и пайплайны обработки данных, минимизируя риск пропуска аномалий в задачах, где полнота анализа является определяющим фактором для принятия решений.

Ключевые факты

  • Исследование сфокусировано на проблеме «молчаливого пропуска» (omission) в изолированных ИИ-системах, работающих на локальных моделях 4–8B.
  • Предложена новая послойная таксономия ошибок, позволяющая диагностировать, на каком уровне обработки данных происходит потеря информации.
  • Метод послойной атрибуции помогает выявить уязвимости в пайплайнах, где агенты обрабатывают длинные контексты, например, в клинических или юридических базах данных.
  • Основной акцент сделан на повышении надежности систем, использующих llama.cpp и vLLM в инфраструктурах с ограниченным доступом к внешним API.