Hacker News · 28.07.2026 ·Машинное обучение

Дистилляция навыков рассуждения проприетарных моделей в open-source агенты

Исследователи представили метод дистилляции сложных навыков логического вывода из закрытых моделей в компактные open-source агенты, специализирующиеся на поиске информации. Новый подход позволяет переносить способности к многошаговому планированию и анализу данных, сохраняя при этом высокую производительность при значительно меньших вычислительных затратах, что делает продвинутые агентные системы доступными для локального запуска и интеграции в прикладные решения.

Основная проблема текущих агентных систем заключается в зависимости от тяжелых API-моделей, которые требуют значительных затрат на инференс и не всегда подходят для задач с жесткими требованиями к приватности. Предложенная методика обучения фокусируется на передаче паттернов «рассуждения» (reasoning traces), которые модель-учитель генерирует в процессе поиска и фильтрации данных, в архитектуру легковесных моделей-студентов.

В ходе экспериментов авторы продемонстрировали, что дистиллированные агенты показывают сопоставимую с GPT-4 точность в задачах поиска и синтеза ответов на основе внешних источников. Это открывает путь к созданию эффективных RAG-систем, которые способны самостоятельно строить цепочки запросов к поисковым индексам и критически оценивать релевантность найденных документов без обращения к облачным провайдерам.

Ключевые факты

Метод основан на переносе цепочек рассуждений (Chain-of-Thought) от проприетарных моделей к специализированным open-source агентам.
Дистиллированные модели демонстрируют снижение задержки (latency) при выполнении поисковых запросов на 40% по сравнению с исходными моделями.
Архитектура агента оптимизирована для работы с внешними поисковыми API и локальными векторными базами данных.
Исследование подтверждает возможность достижения высокой точности в задачах извлечения фактов при использовании моделей с количеством параметров менее 10 миллиардов.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. Hacker News · Исследования и наука Исследование OpenAI: переход от простых LLM к агентным системам Анализ данных платформы Codex демонстрирует фундаментальный сдвиг в использовании ИИ: разработчики всё чаще делегируют моделям выполнение многошаговых задач. Вместо разовых запросов пользователи переходят к агентным паттернам, где ИИ самостоятельно планирует действия и взаимодействует с внешними инструментами. Это меняет требования к архитектуре моделей, смещая фокус с генерации текста на надежность выполнения последовательных операций. arXiv · Обучение и дообучение OpenThoughts-Agent: новый подход к подготовке данных для обучения ИИ-агентов Исследователи представили OpenThoughts-Agent — методологию создания обучающих датасетов, направленную на повышение универсальности агентных моделей. В отличие от узкоспециализированных решений, ориентированных на конкретные бенчмарки, данный подход позволяет обучать модели, способные эффективно справляться с широким спектром задач, требующих многошагового планирования, рассуждения и взаимодействия с внешними инструментами в различных средах. arXiv · Оркестрация агентов Масштабируемое обучение браузерных агентов через дистилляцию навыков Исследователи представили метод масштабируемого обучения ИИ-агентов для работы в браузере через дистилляцию навыков (Skill Distillation). Вместо попыток имитировать каждое действие пользователя, система выделяет и переносит высокоуровневые стратегии поведения. Это позволяет агентам эффективнее справляться с задачами в условиях неполной информации, превращая накопленный человеческий опыт веб-серфинга в воспроизводимые алгоритмы для автоматизации бизнес-процессов и сложных рабочих задач. Hugging Face - Blog · Оценка и бенчмарки Новый подход к оценке агентных способностей открытых моделей Hugging Face представила методологию для оценки того, насколько эффективно языковые модели справляются с использованием внешних инструментов. В отличие от стандартных тестов на логику или знание фактов, новый подход фокусируется на способности модели вызывать функции, интерпретировать ответы API и корректировать свои действия в рамках многошаговых задач. Это позволяет разработчикам точнее определять, какая модель лучше подходит для создания автономных агентов. Hacker News · Инфраструктура для агентов Проблемы интеграции открытых моделей в агентные системы Mozilla.ai представила анализ текущего состояния открытых моделей, подчеркнув их готовность к выполнению сложных агентных задач при одновременном несовершенстве API-интерфейсов. Хотя современные open-source модели по качеству рассуждений догнали проприетарные аналоги, их интеграция в агентные пайплайны затруднена из-за отсутствия стандартизированных инструментов для управления контекстом, вызова функций и надежного инференса. arXiv · Оценка и бенчмарки Новый фреймворк для оценки автономного поиска моделей ИИ-агентами Исследователи представили методологию для систематической оценки того, как ИИ-агенты занимаются автономным моделированием данных. Поскольку поведение агентов стохастично и адаптивно, традиционные бенчмарки не дают полной картины. Новый подход, основанный на принципах экспериментального дизайна, позволяет количественно измерить процесс «открытия» моделей, обеспечивая более глубокое понимание того, как агенты справляются с задачами анализа данных в условиях неопределенности. arXiv · Память и RAG Байесовская оценка неопределенности для агентских RAG-систем Исследователи представили фреймворк для агентских RAG-систем, позволяющий оценивать вероятность ошибок в многошаговых цепочках рассуждений. Система использует байесовское распространение неопределенности на этапах планирования, оценки и генерации, опираясь на семантическую дивергенцию и механизмы саморефлексии моделей. Это решение повышает надежность автономных агентов при выполнении сложных задач, требующих многократного обращения к внешним источникам данных. arXiv · Оркестрация агентов Оптимизация распределения вычислительных мощностей в иерархических поисковых агентах Исследователи проанализировали эффективность иерархических архитектур, где основной агент делегирует подзадачи специализированным моделям. Выяснилось, что использование моделей одинакового размера для всех ролей избыточно. Авторы предложили стратегию распределения вычислительных мощностей, при которой сложные задачи планирования требуют более крупных моделей, тогда как выполнение конкретных поисковых запросов и синтез ответов могут быть делегированы менее ресурсоемким системам без потери качества. arXiv · Исследования и наука Исследование механизмов долгосрочного планирования в ИИ-агентах Исследователи представили новый подход к изучению долгосрочного планирования в ИИ-агентах, переходя от обучения на неструктурированных данных из интернета к контролируемой среде. Работа фокусируется на методах дистилляции агентных навыков от одного или нескольких учителей, что позволяет точно отследить процесс формирования способности модели к многоходовому планированию и оптимизировать её архитектуру для выполнения сложных задач.

← Все материалы