Выбор между жесткими инструкциями и примерами (few-shot) в контексте LLM напрямую влияет на стабильность работы агентов. Исследование показывает, что эффективность метода зависит от «дистанции деривации» — того, насколько сильно модель должна трансформировать входные данные для получения результата. Чрезмерное количество правил часто приводит к деградации логики, тогда как качественные примеры лучше задают структуру вывода.
При проектировании промптов разработчики часто сталкиваются с дилеммой: описать все возможные сценарии через правила или показать их через кейсы. Правила хорошо работают для ограничения области допустимых ответов, но они склонны к «забыванию» при длинных цепочках рассуждений. Примеры же эффективно передают стиль и формат, но могут ограничивать креативность модели, если они слишком специфичны.
Для сложных задач оптимальной стратегией признано сочетание обоих подходов. Сначала задаются высокоуровневые правила, определяющие границы безопасности и цели, а затем добавляются 2–3 репрезентативных примера, которые иллюстрируют желаемый формат ответа. Это позволяет сбалансировать точность следования инструкциям и качество генерации, снижая вероятность галлюцинаций при обработке нестандартных запросов.
Ключевые факты
- Дистанция деривации определяет сложность задачи: чем дальше формат вывода от входных данных, тем важнее наличие примеров.
- Избыточные правила в системном промпте увеличивают риск игнорирования части инструкций из-за ограниченного внимания модели.
- Few-shot промптинг эффективнее справляется с задачами форматирования, чем длинные описательные списки ограничений.
- Комбинированный подход (правила + примеры) снижает вариативность ответов и повышает предсказуемость агентных систем.