Память и RAG
LaWAM: моделирование будущего для роботов с помощью ИИ
Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов.
RoboPIN: новый подход к визуальному мышлению для ИИ-агентов
Исследователи из MIT и других ведущих университетов представили RoboPIN — метод, который улучшает способность ИИ-агентов к визуальному мышлению в физических средах. Текущие модели часто используют текстовые или координатные цепочки мыслей, что приводит к разрыву между визуальными данными и логическим выводом. RoboPIN предлагает решение, фиксируя визуальные объекты в процессе рассуждений, что делает их более точными и последовательными.
Memoriq – открытый шифрованный хранилище для чатов ИИ
Memoriq – это открытое хранилище для шифрованного хранения и поиска чатов с ИИ-агентами. Проект размещён на GitHub и доступен для использования и модификации.
Новый фреймворк для работы с отсутствующими модальностями в ИИ-агентах
Исследователи представили новый подход к решению проблемы отсутствующих модальностей в многомодальных системах. В статье, опубликованной на arXiv, предлагается фреймворк Unsupervised Learning for Missing Modalities in Multi-Modal Learning (UL4M4), который позволяет заполнять отсутствующие данные перед выполнением предсказаний. Это особенно важно для ИИ-агентов, которые часто работают с неполными или неструктурированными данными.
Проблема памяти в ИИ: почему системы всё ещё работают как поиск
Автор статьи Jeffrey Flynt поднимает важный вопрос о текущем состоянии памяти в ИИ-агентах. Он утверждает, что большинство современных систем, включая RAG (Retrieval-Augmented Generation), работают по принципу поиска, а не по принципу истинной памяти. Это означает, что они не могут эффективно хранить и использовать контекстную информацию в долгосрочной перспективе, а лишь извлекают данные из базы при каждом запросе.
Новый бенчмарк для клинического QA с доказательствами
Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений.
ReGrad: постобучение без потери знаний
Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний.
Как LLM-агент взламывает Salesforce Sites
Исследователи из Reco.ai продемонстрировали, как LLM-агент может автоматизировать процесс тестирования безопасности сайтов, построенных на Salesforce Sites. В их эксперименте агент использовал методы, аналогичные тем, которые применяют хакеры, чтобы находить уязвимости в системах. Это важно для разработчиков ИИ-агентов, так как показывает, как можно использовать LLM для автоматизации сложных задач, требующих анализа и принятия решений.
Исследование: случайный прорыв в памяти ИИ-агентов
Исследователи из Coder Company случайно достигли нового уровня в области памяти ИИ-агентов, используя подход, основанный на AI-компаньонах. В ходе эксперимента они обнаружили, что агенты, взаимодействующие друг с другом, способны сохранять и использовать информацию более эффективно, чем традиционные методы.
Исследование: как ИИ-агенты решают сложные задачи через разложение
Учёные из MIT и других ведущих университетов представили исследование, посвящённое структурным принципам организации ИИ-агентов для решения сложных задач. В работе вводится концепция «алгебры разложения», которая описывает, как из ненадёжных базовых компонентов можно создать надёжные системы.
Почему большие контекстные окна в ИИ-агентах могут быть обманчивы
Недавний пост на платформе HN поднимает важный вопрос о надежности больших контекстных окон в ИИ-моделях. Автор статьи, Garrit Franke, утверждает, что несмотря на то, что большие контекстные окна позволяют моделям обрабатывать больше информации, это не всегда приводит к лучшим результатам. В частности, он отмечает, что модели могут терять фокус на ключевых деталях, что особенно критично для ИИ-агентов, где точность и контекстуальная релевантность имеют первостепенное значение.
Как сохранить контекст в ИИ-агентах без потери производительности
Разработчики ИИ-агентов часто сталкиваются с проблемой ограниченного контекста: модели не могут удерживать большие объёмы информации, что снижает их эффективность. Новый инструмент Claude API Saver предлагает решение этой проблемы, позволяя сохранять и управлять контекстом без потери производительности.
Lime 2.0: аутентификация для ИИ-агентов без участия человека
Команда Lime представила обновлённую версию своей системы аутентификации Lime 2.0, которая позволяет ИИ-агентам взаимодействовать с сервисами без участия человека. Это решение может стать важным шагом в развитии автономных агентов, так как устраняет необходимость в ручном подтверждении действий.
ScreenMind: локальный поиск по визуальной памяти
ScreenMind — это инструмент для поиска по визуальной памяти, работающий полностью на устройстве. Он позволяет пользователям искать и находить визуальные данные, такие как скриншоты, изображения и другие визуальные элементы, которые были сохранены в памяти устройства. Это может быть полезно для разработчиков ИИ-агентов, которые хотят интегрировать визуальные данные в свои системы.
Анализ пузыря ИИ: новые данные и прогнозы
Экономисты из CEPR (Centre for Economic Policy Research) запустили проект AI Bubble Monitor, который отслеживает динамику инвестиций в ИИ-стартапы и оценивает риски перегрева рынка. По данным проекта, в 2023 году объем инвестиций в ИИ-компании вырос на 40% по сравнению с предыдущим годом, что может свидетельствовать о формировании пузыря.
Engram: оффлайн-сервер MCP для обмена памятью между ИИ-агентами
Команда разработчиков представила Engram — оффлайн-сервер MCP (Memory-Centric Protocol), предназначенный для обмена памятью между ИИ-агентами. Проект доступен на GitHub и предлагает решение для локального хранения и управления памятью, что особенно важно для агентов, работающих в оффлайн-режиме или с ограниченным доступом к облачным сервисам.
MiMo Code: масштабирование агентов для сложных задач
Команда Xiaomi представила фреймворк MiMo Code, который позволяет масштабировать ИИ-агентов для выполнения задач с длинным горизонтом. Это значит, что агенты могут работать с многоэтапными процессами, требующими последовательного выполнения действий и координации между разными модулями.
Локальная система памяти для RAG с возможностью записи ИИ
Разработчик Paul Tobey представил локальную систему памяти для RAG (Retrieval-Augmented Generation), которая позволяет ИИ-агентам напрямую записывать информацию. Проект доступен на GitHub и реализует механизм, аналогичный Memory Control Plane (MCP), но с упором на локальное хранение данных.
AgentGraph: графовая модель для управления контекстом в ИИ-агентах
Разработчики ИИ-агентов сталкиваются с проблемой эффективного управления контекстом, особенно при работе с длинными цепочками диалогов или сложными задачами. В новом подходе, представленном в AgentGraph, предлагается использовать графовую модель для хранения и обработки контекста. Это позволяет не только сохранять информацию в структурированном виде, но и обеспечивает более гибкий доступ к данным, что особенно важно для агентов, работающих с большими объемами информации.
Renwei Writing: ИИ-скилл для редактирования текста с сохранением авторского стиля
Разработчики orange2ai представили новый ИИ-скилл под названием Renwei Writing, который позволяет редактировать тексты пользователей, сохраняя их индивидуальный стиль и голос. Этот инструмент может быть полезен для создания более естественных и персонализированных текстов, что особенно важно при работе с ИИ-агентами, которые должны взаимодействовать с пользователями на их языке.
Как визуально-языковые модели смотрят на изображения
Исследователи из MIT и Google Research выяснили, что визуально-языковые модели (VLM) используют специфический механизм для описания изображений. Они обнаружили небольшой набор attention heads в языковой части модели, которые называют gaze heads. Эти heads отслеживают конкретные области изображения, которые модель описывает в данный момент. Это открытие важно для понимания того, как модели обрабатывают визуальную информацию и как можно улучшить их точность и интерпретируемость.
CORA: метод для устранения разрыва между мышлением и ответом в многомодальных ИИ-агентах
Исследователи из MIT и других ведущих университетов представили метод CORA (Consistency-Oriented Reasoning Alignment), который решает проблему несоответствия между процессом рассуждений и конечным ответом в многомодальных системах с подкрепляющим обучением и проверяемыми вознаграждениями (RLVR).
Исследование: как ИИ может генерировать ценные математические доказательства
Недавнее исследование, опубликованное на arXiv, рассматривает проблему генерации ценных математических доказательств с помощью ИИ. Авторы моделируют этот процесс как вложенную генерацию языка в пределе, где формальный язык F, доступный через оракул принадлежности (проверяющий доказательства), содержит ценные математические утверждения.
Новый подход к редактированию знаний в ИИ-агентах
Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели.