arXiv · 21.07.2026 ·Исследования и наука

Как формат промптов, объем инструкций и контекст влияют на работу LLM

Исследователи провели контролируемый эксперимент, чтобы выяснить, как структура промптов, количество инструкций и длина контекста влияют на точность выполнения задач и склонность моделей к галлюцинациям. Работа закрывает пробел в эмпирических данных, помогая разработчикам оптимизировать системные промпты для повышения надежности ИИ-систем при работе с большими объемами данных и сложными наборами правил.

В ходе исследования тестировались различные форматы представления данных: от простого текста и прозы до разметки Markdown и табличных структур. Авторы проанализировали, в какой момент добавление новых инструкций начинает снижать качество их соблюдения, а также определили пороги контекстного окна, после которых показатели воспроизведения информации и честности ответов модели начинают заметно падать.

Результаты показывают, что выбор формата и плотность инструкций критически важны для минимизации ошибок. Вместо интуитивного проектирования промптов, авторы предлагают опираться на количественные показатели, которые позволяют предсказать поведение модели при масштабировании системных требований. Это особенно актуально для сложных агентных сценариев, где модель должна удерживать в памяти множество ограничений одновременно.

Ключевые факты

Исследование охватывает три ключевых параметра: формат данных, количество одновременных инструкций и длину контекста.
Проведены два масштабных контролируемых эксперимента для оценки влияния этих факторов на соблюдение инструкций.
Выявлена прямая зависимость между плотностью системного промпта и деградацией качества ответов модели.
Работа предоставляет практические метрики для определения пределов «честности» и точности извлечения данных при росте контекстного окна.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Правила или примеры: как оптимизировать контекст LLM для предсказуемых ответов Выбор между жесткими инструкциями и примерами (few-shot) в контексте LLM напрямую влияет на стабильность работы агентов. Исследование показывает, что эффективность метода зависит от «дистанции деривации» — того, насколько сильно модель должна трансформировать входные данные для получения результата. Чрезмерное количество правил часто приводит к деградации логики, тогда как качественные примеры лучше задают структуру вывода. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. Hacker News · ИИ в бизнесе Методы повышения качества генерации текста в бизнес-задачах Авторы блога Scala-lang представили практическое руководство по улучшению качества текстовых ответов генеративных моделей. Основной акцент сделан на методах промпт-инжиниринга и структурировании контекста, которые позволяют минимизировать галлюцинации и повысить точность следования инструкциям. Статья предлагает конкретные подходы к формализации задач для получения предсказуемых результатов в профессиональных сценариях использования LLM. Hacker News · Оценка и бенчмарки Исследование качества промптов: средняя устойчивость моделей составляет 31 из 100 Анализ более тысячи реальных промптов показал, что современные ИИ-системы демонстрируют низкий уровень устойчивости при выполнении сложных задач. Средний балл надежности составил всего 31 из 100, что указывает на высокую чувствительность моделей к формулировкам и контексту. Исследование подчеркивает критическую проблему нестабильности генеративных решений при их внедрении в реальные бизнес-процессы и автоматизированные системы. Hacker News · Оценка и бенчмарки Практическое сравнение ответов различных LLM на идентичные промпты В репозитории backendjs представлен набор примеров, демонстрирующих различия в генерации текста при использовании популярных LLM. Автор проекта систематизировал ответы моделей на одинаковые промпты, позволяя наглядно оценить вариативность стилей, точность следования инструкциям и качество логических рассуждений в разных архитектурах. Этот подход помогает разработчикам лучше понимать поведение моделей при интеграции в реальные системы. Hacker News · Машинное обучение Влияние чистоты кода на производительность ИИ-агентов Исследователи проанализировали, как качество и структура кодовой базы влияют на эффективность работы ИИ-агентов при решении задач программирования. Выяснилось, что чистота кода напрямую коррелирует с успешностью выполнения запросов: модели демонстрируют значительно более высокую точность, когда работают с хорошо структурированными проектами, где соблюдены принципы именования, модульности и отсутствия избыточных зависимостей, что критически важно для агентских систем. Hacker News · Оценка и бенчмарки Влияние формата данных на производительность LLM: HTML против JSON Исследование эффективности форматов данных при работе с LLM показало, что выбор между HTML и JSON практически не влияет на итоговое качество ответов модели. Ключевым фактором успеха оказалась стратегия промпт-инжиниринга и структурирование контекста, а не синтаксис разметки. Эксперименты подтвердили, что модели одинаково успешно извлекают информацию из обоих форматов при правильной подаче инструкций. arXiv · Оценка и бенчмарки Исследование влияния формы выражения убеждений на ответы LLM Исследователи проанализировали, как лингвистические нюансы в запросах пользователей влияют на способность LLM различать факты и субъективные убеждения. Работа показывает, что использование пресуппозиций, маркеров уверенности и различных тональностей в сообщениях существенно меняет поведение моделей, заставляя их либо принимать контекст пользователя как истину, либо опираться на собственные внутренние знания. Hacker News · Исследования и наука Исследование: ограничения механизма внимания в современных LLM Ученые проанализировали эффективность архитектуры трансформеров при выполнении задач, требующих длительной концентрации на контексте. В ходе экспериментов выяснилось, что даже самые продвинутые языковые модели демонстрируют снижение точности при обработке длинных последовательностей, если ключевая информация распределена неравномерно или скрыта в середине текста. Этот феномен, известный как «проблема потерянного в середине» (lost in the middle), ставит под вопрос надежность механизмов внимания при работе с большими объемами данных. arXiv · Оценка и бенчмарки Влияние промптов на безопасность и точность клинических LLM Исследователи изучили, как использование промптов на достаточность доказательств (evidence-sufficiency) влияет на поведение клинических языковых моделей. Выяснилось, что такие инструкции действительно снижают количество самоуверенных, но потенциально опасных ответов. Однако эффективность метода сильно зависит от того, какая именно модель выступает в роли «судьи» при оценке безопасности, что ставит под вопрос объективность текущих метрик оценки ИИ в медицине.

← Все материалы