Hacker News · 10.08.2026 ·Оркестрация агентов

Проблемы оркестрации нескольких LLM в Claude Code при выполнении задач в терминале

Исследование выявило критические сбои при попытке объединить четыре различные языковые модели для автоматизации задач в терминале через Claude Code. В ходе тестирования на бенчмарке Terminal-Bench выяснилось, что использование нескольких моделей в связке приводит к непредсказуемому поведению, отказам в выполнении команд и ошибкам в логике управления средой, что ставит под сомнение эффективность сложных агентных цепочек.

Основная проблема заключается в конфликтах между моделями при интерпретации контекста терминала и передаче управления. Даже при использовании продвинутых инструментов оркестрации, модели часто «спорят» друг с другом или зацикливаются, пытаясь исправить ошибки, которые сами же и создали. Это приводит к деградации производительности по сравнению с использованием одной, более мощной модели, способной удерживать контекст всей сессии целиком.

Результаты эксперимента подчеркивают сложности, возникающие при попытке масштабировать агентные системы через простое соединение нескольких LLM. Вместо повышения точности, такая архитектура часто увеличивает количество галлюцинаций и задержек, так как каждая модель в цепочке вносит свои искажения в интерпретацию системных вызовов и командной строки.

Ключевые факты

Тестирование проводилось с использованием четырех различных моделей в рамках среды Claude Code.
В качестве эталона для оценки агентных способностей применялся бенчмарк Terminal-Bench.
Выявлено четыре типа критических сбоев, включая отказ от выполнения команд и логические циклы.
Использование нескольких моделей в связке показало худшие результаты по сравнению с одиночными моделями в задачах управления терминалом.
Основная причина неудач — несовместимость контекстных представлений моделей при работе с динамической средой исполнения.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Анализ эффективности ИИ-агента в длинных сессиях разработки Исследование процесса взаимодействия с Claude в рамках 241-шаговой сессии программирования выявило критические проблемы в удержании контекста и следовании инструкциям. Автор проанализировал, как агент постепенно теряет фокус, игнорирует ранние установки и начинает совершать ошибки в коде. Работа демонстрирует пределы возможностей современных LLM при выполнении сложных, многоэтапных задач разработки в реальных условиях. Hacker News · Исследования и наука Почему LLM теряют точность при выполнении длинных циклических задач Исследование выявило критическую проблему в работе больших языковых моделей при выполнении многошаговых итеративных процессов. С увеличением количества циклов вероятность ошибки возрастает экспоненциально из-за накопления отклонений от заданного протокола. Автор анализа вводит понятие «периода полураспада соблюдения протокола», объясняя, почему даже продвинутые модели склонны к деградации логики при выполнении длинных последовательностей действий. Hacker News · Исследования и наука Исследование: почему LLM испытывают трудности с многошаговым планированием Исследователи проанализировали способность больших языковых моделей к решению задач, требующих последовательного планирования, и выявили фундаментальные ограничения. В работе показано, что стандартные методы авторегрессионной генерации часто приводят к ошибкам в долгосрочных стратегиях, так как модели не способны эффективно оценивать последствия своих действий на несколько шагов вперед, что критически важно для сложных агентных систем. Hacker News · Оценка и бенчмарки Исследование: ансамбли LLM редко превосходят лучшие одиночные модели Масштабное исследование 67 различных языковых моделей показало, что стратегии объединения нескольких LLM в ансамбли для улучшения ответов зачастую не дают значимого прироста качества. В большинстве случаев производительность комбинированной системы ограничена возможностями самой сильной модели в группе, что ставит под сомнение эффективность сложных схем оркестрации для повышения точности генерации. Hacker News · Оценка и бенчмарки Анализ производительности моделей Claude при работе с кодовыми базами Исследователи протестировали возможности моделей Claude в решении комплексных задач, проанализировав репозиторий LangChain. Эксперимент показал, как современные LLM справляются с навигацией по сложной структуре кода, выявлением зависимостей и генерацией технической документации. Результаты демонстрируют текущие пределы контекстного окна и способности моделей к глубокому пониманию архитектуры программных проектов при автоматизированном аудите. Hacker News · Оценка и бенчмарки Комбинирование LLM редко превосходит лучшие одиночные модели Исследование 67 передовых языковых моделей показало, что методы ансамблирования и объединения LLM зачастую не дают значимого прироста производительности по сравнению с использованием одной топовой модели. Несмотря на популярность стратегий объединения ответов, результаты тестов демонстрируют, что сложность внедрения таких систем редко оправдывается качественным скачком в точности или надежности генерации ответов. Hacker News · Оценка и бенчмарки Сравнение стоимости и эффективности LLM в задачах SWE-bench Эксперимент по решению задач из бенчмарка SWE-bench-Live показал значительный разрыв в эффективности современных языковых моделей. Использование дорогостоящих решений, таких как Claude 3 Opus, не гарантирует успеха в сложных инженерных задачах, в то время как более экономичные модели демонстрируют высокую точность при кратно меньших затратах на инференс, меняя представление о целесообразности выбора моделей для автоматизации разработки. Hacker News · Оценка и бенчмарки Смена уровня модели LLM меняет выбор инструментов в 50% случаев Исследование платформы ModelsAgree показало, что изменение «уровня» (tier) одной и той же модели LLM существенно влияет на выбор инструментов для решения задач. В половине случаев при переключении между версиями модели с разными вычислительными мощностями ИИ предлагает принципиально иные инструменты, что ставит под сомнение стабильность агентных систем при масштабировании моделей. Hacker News · Машинное обучение Статистический анализ паттернов LLM-ориентированного программирования Исследование систематизирует подходы к LLM-ориентированному программированию (LLMOP), выделяя ключевые компоненты, которые определяют эффективность взаимодействия с языковыми моделями. Авторы проанализировали статистические закономерности в разработке агентных систем, выявив наиболее устойчивые паттерны проектирования, которые позволяют минимизировать ошибки инференса и повысить предсказуемость ответов моделей при решении сложных прикладных задач. Hacker News · Оценка и бенчмарки Сравнение производительности LLM в динамических агентных сценариях Платформа OpenRouter представила результаты тестирования различных языковых моделей в условиях симуляции, где агенты должны принимать решения в режиме реального времени. В рамках эксперимента модели помещались в динамическую среду, требующую быстрой реакции на меняющиеся обстоятельства. Цель исследования заключалась в оценке того, как архитектурные различия и методы обучения влияют на способность моделей эффективно управлять автономными объектами в условиях ограниченного времени.

← Все материалы