Simon Willison's Weblog · 02.07.2026 ·Оценка и бенчмарки

Оптимизация системных промптов для SQL-агентов с помощью DSPy

Саймон Уиллисон продемонстрировал практический подход к улучшению системных промптов для Datasette Agent, используя фреймворк DSPy для автоматизированной оценки и оптимизации. Вместо ручной настройки инструкций, автор применил программный метод, позволяющий итеративно тестировать качество генерации SQL-запросов и повышать точность ответов агента при работе с базами данных, что значительно сокращает время на отладку агентных систем.

Процесс оптимизации включал создание набора тестовых примеров, на которых DSPy оценивал эффективность различных вариантов системного промпта. Фреймворк автоматически подбирал формулировки, которые минимизируют ошибки в синтаксисе SQL и повышают релевантность ответов модели при выполнении аналитических задач. Использование такого подхода позволяет перевести процесс «промпт-инжиниринга» из области интуитивного подбора слов в инженерную дисциплину с измеримыми метриками качества.

Данный кейс подчеркивает важность автоматизации оценки агентных систем. Интеграция DSPy в пайплайны разработки позволяет разработчикам быстрее адаптировать поведение моделей под конкретные схемы данных, не прибегая к трудоемкому ручному тестированию каждой итерации системного промпта. Это особенно актуально для инструментов, работающих с динамическими структурами данных, где точность генерации кода является критическим фактором.

Ключевые факты

DSPy использован для автоматической оптимизации системных промптов Datasette Agent.
Основная цель исследования — повышение точности генерации SQL-запросов для работы с базами данных.
В процессе применялась модель Claude Fable 5 для выполнения исследовательских задач.
Метод позволяет заменить ручную настройку промптов на программную оптимизацию с использованием метрик качества.

Источник: Simon Willison's Weblog

Обсудить с ИИ

Похожие материалы

Hacker News · Оркестрация агентов Dspyer: фреймворк для самокоррекции и оптимизации шагов в DSPy и LangGraph Dspyer представляет собой инструмент для автоматизации самокоррекции и оптимизации цепочек вызовов LLM, интегрирующийся с DSPy и LangGraph. Решение позволяет разработчикам внедрять механизмы обратной связи непосредственно в агентные пайплайны, обеспечивая динамическую настройку промптов и логики выполнения для повышения точности ответов без необходимости ручного переписывания каждого этапа взаимодействия с моделью. arXiv · Оркестрация агентов Исследование оптимизации системных промптов в мультиагентных системах Исследователи представили MAS-PromptBench — специализированный бенчмарк для анализа эффективности системных промптов в мультиагентных архитектурах. В таких системах каждый агент выполняет узкоспециализированную роль, а качество итогового результата напрямую зависит от того, насколько точно заданы инструкции для координации и взаимодействия между участниками процесса. Hacker News · Инфраструктура для агентов Концепция агентного дата-инжиниринга: автоматизация пайплайнов Агентный дата-инжиниринг переосмысливает процесс обработки данных, делегируя построение и поддержку ETL-пайплайнов автономным ИИ-агентам. Вместо ручного написания кода и настройки конфигураций, система использует LLM для интерпретации бизнес-логики, автоматического обнаружения схем данных, написания SQL-запросов и обработки ошибок в реальном времени, что значительно сокращает время на подготовку данных для аналитики и обучения моделей. MarkTechPost · Инфраструктура для агентов Cisco представила FAPO для автоматической оптимизации цепочек промптов Подразделение Cisco Foundation AI открыло исходный код системы FAPO (Fully Automated Prompt Optimization). Инструмент предназначен для автоматизированной настройки многошаговых цепочек вызовов LLM, позволяя доводить их точность до целевых показателей без ручного вмешательства. Система работает на базе оркестрации Claude Code и фокусируется на комплексной оптимизации промптов, параметров моделей и общей архитектуры цепочки. arXiv · Машинное обучение Autodata: агентный подход к генерации синтетических данных для обучения ИИ Исследователи представили Autodata — метод, превращающий ИИ-агентов в автономных дата-сайентистов для создания высококачественных обучающих и оценочных наборов данных. Система использует мета-оптимизацию, позволяя агенту итеративно улучшать процесс генерации данных. Практическая реализация метода, названная Agentic Self-Instruct, демонстрирует эффективность в задачах компьютерных наук, значительно повышая качество синтетических датасетов для дообучения моделей. Hacker News · Оценка и бенчмарки Дорожная карта по оценке эффективности ИИ-агентов Оценка производительности автономных ИИ-агентов становится критическим этапом разработки, так как традиционные метрики для простых LLM-запросов здесь оказываются недостаточно эффективными. В отличие от статических моделей, агенты совершают последовательные действия, взаимодействуют с внешними инструментами и меняют состояние среды, что требует комплексного подхода к тестированию. Hacker News · Инфраструктура для агентов DeepSeek представила фреймворк DSpark для ускорения инференса LLM Компания DeepSeek открыла исходный код DSpark — специализированного фреймворка, предназначенного для оптимизации процесса инференса больших языковых моделей. Решение позволяет значительно сократить время генерации ответов, обеспечивая прирост производительности до 85% в определенных сценариях. Инструмент ориентирован на масштабируемые системы, где критически важна скорость работы моделей при высоких нагрузках и работе с длинным контекстом. Hacker News · Инференс и железо DeepSeek представила методы оптимизации инференса с ускорением до 85% Компания DeepSeek опубликовала техническую документацию по методам оптимизации инференса, позволяющим ускорить генерацию текста на 60–85%. Разработка фокусируется на снижении задержек при работе с большими языковыми моделями за счет эффективного управления вычислительными ресурсами и оптимизации алгоритмов обработки токенов, что критически важно для масштабируемых агентных систем и высоконагруженных сервисов. Microsoft Research · Инфраструктура для агентов SkillOpt: превращение навыков ИИ-агентов в обучаемые параметры Исследователи Microsoft представили SkillOpt — метод оптимизации поведения ИИ-агентов, при котором инструкции (навыки) становятся обучаемыми параметрами. Вместо ручного редактирования промптов система использует процесс обучения для настройки навыков, что повышает надежность выполнения задач без необходимости изменения весов самой базовой модели. Это позволяет агентам адаптироваться к сложным сценариям более эффективно и предсказуемо. Hacker News · MCP и интеграции ProData AI: 14 инструментов MCP для автоматизации дата-сайенс Команда MCPize представила ProData AI — набор из 14 инструментов, предназначенных для автоматизации задач в области дата-сайенс. Эти инструменты работают на основе архитектуры MCP (Multi-Agent Collaboration Protocol), что делает их особенно полезными для разработчиков ИИ-агентов.

← Все материалы