Hacker News · 16.06.2026 ·ИИ-агенты и безопасность

Исследование: налог на проверку в ИИ-агентах

Учёные из Стэнфорда и MIT провели исследование, посвящённое компромиссу между безопасностью и эффективностью в ИИ-агентах, использующих инструменты. Они ввели понятие «налог на проверку» — дополнительные затраты на обеспечение безопасности, которые снижают общую производительность агентов.

Исследователи показали, что даже небольшие ошибки в проверке могут привести к значительным потерям в производительности. Например, если агент должен выполнять сложные задачи, требующие использования внешних инструментов, то каждая дополнительная проверка увеличивает время выполнения и снижает шансы на успех.

Авторы предлагают несколько стратегий для минимизации этого налога. В частности, они рекомендуют использовать адаптивные механизмы проверки, которые активируются только в критических ситуациях. Также важно оптимизировать алгоритмы проверки, чтобы они не замедляли выполнение задач.

Исследование подчёркивает важность баланса между безопасностью и производительностью в разработке ИИ-агентов. Понимание этого компромисса поможет создавать более надёжные и эффективные системы.

Источник: Hacker News

Похожие материалы

arXiv · Ошибки в ИИ-агентах Исследование скрытых ошибок в работе ИИ-агентов Исследователи из Arxiv представили longitudinal study о скрытых ошибках в работе ИИ-агентов, которые работают как долгосрочные автономные системы. В исследовании анализируется система личного ассистента, работающая с марта 2026 года. Система включает в себя около 40 запланированных задач, 8 поставщиков LLM, инструментальный прокси и базу знаний. Hacker News · Биллинг и оптимизация затрат на ИИ Как контролировать затраты на ИИ-инфраструктуру Разработка и эксплуатация ИИ-агентов требуют значительных вычислительных ресурсов, что приводит к высоким затратам. В статье на FWDNow.io рассматриваются ключевые стратегии для оптимизации этих расходов. Авторы предлагают использовать FinOps-методологии, которые помогают компаниям эффективно управлять облачными ресурсами и снижать затраты на инференс и обучение моделей. arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. Hacker News · Безопасность ИИ-агентов Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. Hacker News · Биллинг и оценка ИИ-агентов Как оценивать эффективность ИИ-агентов Разработчики ИИ-агентов сталкиваются с серьёзной проблемой: отсутствием стандартов для измерения их стоимости и эффективности. В отличие от традиционных программных продуктов, где метрики успеха относительно чёткие, агентские системы требуют комплексного подхода к оценке. Это включает не только производительность, но и качество взаимодействия с пользователями, экономическую эффективность и долгосрочную ценность. Hacker News · ИИ-агенты и их развитие Как преодолеть неопределённость в разработке ИИ-агентов Разработка ИИ-агентов сталкивается с множеством вызовов, связанных с их неопределённостью. В новой статье рассматриваются ключевые проблемы, которые мешают созданию эффективных агентов, и предлагаются пути их решения. Hacker News · Тестирование ИИ-агентов Как оценивать ИИ-агентов: полный цикл тестирования Разработка ИИ-агентов требует не только создания функциональных модулей, но и их тщательного тестирования. В статье Peter Baumgartner подробно рассматривается подход к end-to-end оценке агентов, который включает в себя тестирование на всех этапах их работы — от ввода данных до выполнения задач и генерации результатов. Автор подчеркивает важность комплексного подхода, который позволяет выявить слабые места и улучшить общую производительность агентов. Hacker News · Влияние ИИ на рынок труда Скрытая человеческая работа за ИИ-ассистентами Исследование Work AI Institute от Glean раскрывает, насколько сильно ИИ-ассистенты зависят от скрытого человеческого труда. Авторы вводят термины «ботситтинг» (бот-сидение) и «ботшиттинг» (бот-дерьмо), чтобы описать, как сотрудники вынуждены исправлять ошибки ИИ и контролировать его работу. Это создаёт новую категорию рабочих обязанностей, которая не учитывается в официальных описаниях должностей. Hacker News · ИИ-агенты и поиск решений Проблема одинаковых фрингов в поиске решений для ИИ-агентов Исследование «The Same-Fringe Problem» рассматривает классическую проблему в поиске решений, когда два разных пути поиска приводят к одинаковым состояниям, что может привести к неэффективному использованию ресурсов. Это особенно актуально для ИИ-агентов, которые часто сталкиваются с необходимостью выбора оптимального пути в сложных задачах. Microsoft Research · Надёжность ИИ-агентов Исследование Microsoft о надёжности ИИ в делегированных задачах Microsoft опубликовал уточнения к своему исследованию «LLMs Corrupt Your Documents When You Delegate», которое вызвал широкий резонанс в сообществе разработчиков ИИ. В работе рассматриваются проблемы надёжности ИИ-систем при делегировании задач, особенно в долгосрочных сценариях. Исследователи подчеркнули, что их цель — не просто выявить проблемы, но и разработать методы оценки, которые помогут создать более устойчивые системы.

← Все материалы