Память и RAG
Ограничения доступа к знаниям после 12 июня
12 июня 2024 года вступают в силу новые ограничения на доступ к знаниям, которые могут существенно повлиять на развитие ИИ. В частности, речь идёт о запрете на использование определённых данных для обучения моделей, что может привести к снижению качества и точности ИИ-систем.
Hill charts с MCP-сервером для восприятия окружения
Разработчики Hill charts представили интеграцию с MCP-сервером, что позволяет ИИ-агентам получать визуальную информацию о своём окружении. Это решение использует камеры и компьютерное зрение для создания интерактивных карт, которые помогают агентам ориентироваться в пространстве и взаимодействовать с объектами.
NeuronDB: база данных для памяти LLM
Разработчики из сообщества LLM представили NeuronDB — экспериментальную базу данных, предназначенную для хранения и управления памятью больших языковых моделей. Проект опубликован на GitHub и уже привлёк внимание сообщества, так как предлагает решение для одной из ключевых проблем в разработке ИИ-агентов — долгосрочной памяти.
Lifting E-Graphs: новый подход к рефакторингу кода
Исследователи представили концепцию Lifting E-Graphs, которая предлагает новый способ оптимизации и рефакторинга кода. Этот метод позволяет автоматически находить и применять оптимизации, которые вручную могли бы занять много времени и усилий. Lifting E-Graphs использует графы выражений (e-graphs) для представления и манипуляции кодом, что делает процесс рефакторинга более эффективным и менее подверженным ошибкам.
Project Brain2.0: система памяти для ИИ-агентов на базе ClaudeCode
Project Brain2.0 представляет собой фреймворк для создания и управления памятью ИИ-агентов. Он интегрируется с ClaudeCode и поддерживает работу с любыми агентами, способными читать файлы. Это решение позволяет агентам сохранять и извлекать информацию, что критически важно для построения контекста и поддержания состояния в длительных диалогах или задачах.
Как наследуются «правдивые головы» в моделях для контекстуальной привязки
Исследователи изучили, как поведенческие свойства, такие как контекстуальная привязка, наследуются в моделях, созданных на основе общих базовых LLM. Они ввели метрику head-level context-truthfulness score, чтобы измерить, насколько точно модели сохраняют контекстуальную информацию при специализации. Это важно для разработки ИИ-агентов, так как позволяет предсказать, как поведение базовой модели повлияет на её специализированные версии.
Память в ИИ для прогнозирования трафика
Исследователи из Университета Цинхуа и других ведущих вузов представили новый подход к прогнозированию состояния дорожного движения с использованием памяти. В статье, опубликованной на arXiv, они предлагают Memory-Augmented Graph Liquid Time-Constant Networks (M-GLTN) — модель, которая решает проблему нехватки данных в некоторых регионах за счёт переноса знаний из других областей.
Использование Segment Anything Model для интерпретации сейсмических данных
Исследователи изучили применение Segment Anything Model (SAM) для интерпретации сейсмических данных, что может быть полезно для разработки ИИ-агентов, работающих с визуальной информацией. SAM, разработанный Meta, демонстрирует мощные возможности сегментации изображений на основе подсказок, что делает его перспективным инструментом для анализа сложных данных.
Как RAG помогает бороться с галлюцинациями в мультимодальных моделях
Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности.
DYNA: динамическая память для ИИ-агентов на основе временных графов
Исследователи из MIT и других университетов предложили фреймворк DYNA, который решает проблему забывания знаний у больших языковых моделей (LLM). DYNA использует временной знаний граф, где события — это узлы, а временные отношения — направленные, временно помеченные рёбра. Этот граф служит внешней, обновляемой памятью, что позволяет LLM работать с новыми данными без переобучения.
Проблема одинаковых фрингов в поиске решений для ИИ-агентов
Исследование «The Same-Fringe Problem» рассматривает классическую проблему в поиске решений, когда два разных пути поиска приводят к одинаковым состояниям, что может привести к неэффективному использованию ресурсов. Это особенно актуально для ИИ-агентов, которые часто сталкиваются с необходимостью выбора оптимального пути в сложных задачах.
LaWAM: моделирование будущего для роботов с помощью ИИ
Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов.
RoboPIN: новый подход к визуальному мышлению для ИИ-агентов
Исследователи из MIT и других ведущих университетов представили RoboPIN — метод, который улучшает способность ИИ-агентов к визуальному мышлению в физических средах. Текущие модели часто используют текстовые или координатные цепочки мыслей, что приводит к разрыву между визуальными данными и логическим выводом. RoboPIN предлагает решение, фиксируя визуальные объекты в процессе рассуждений, что делает их более точными и последовательными.
Memoriq – открытый шифрованный хранилище для чатов ИИ
Memoriq – это открытое хранилище для шифрованного хранения и поиска чатов с ИИ-агентами. Проект размещён на GitHub и доступен для использования и модификации.
Новый фреймворк для работы с отсутствующими модальностями в ИИ-агентах
Исследователи представили новый подход к решению проблемы отсутствующих модальностей в многомодальных системах. В статье, опубликованной на arXiv, предлагается фреймворк Unsupervised Learning for Missing Modalities in Multi-Modal Learning (UL4M4), который позволяет заполнять отсутствующие данные перед выполнением предсказаний. Это особенно важно для ИИ-агентов, которые часто работают с неполными или неструктурированными данными.
Проблема памяти в ИИ: почему системы всё ещё работают как поиск
Автор статьи Jeffrey Flynt поднимает важный вопрос о текущем состоянии памяти в ИИ-агентах. Он утверждает, что большинство современных систем, включая RAG (Retrieval-Augmented Generation), работают по принципу поиска, а не по принципу истинной памяти. Это означает, что они не могут эффективно хранить и использовать контекстную информацию в долгосрочной перспективе, а лишь извлекают данные из базы при каждом запросе.
Новый бенчмарк для клинического QA с доказательствами
Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений.
ReGrad: постобучение без потери знаний
Исследователи из MIT и Google Research предложили новый подход к постобучению моделей, который решает проблему накопления весового дрейфа. В работе «Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift» авторы вводят концепцию ReGrad — метода, позволяющего моделям обновляться после развертывания без потери ранее усвоенных знаний.
Как LLM-агент взламывает Salesforce Sites
Исследователи из Reco.ai продемонстрировали, как LLM-агент может автоматизировать процесс тестирования безопасности сайтов, построенных на Salesforce Sites. В их эксперименте агент использовал методы, аналогичные тем, которые применяют хакеры, чтобы находить уязвимости в системах. Это важно для разработчиков ИИ-агентов, так как показывает, как можно использовать LLM для автоматизации сложных задач, требующих анализа и принятия решений.
Исследование: случайный прорыв в памяти ИИ-агентов
Исследователи из Coder Company случайно достигли нового уровня в области памяти ИИ-агентов, используя подход, основанный на AI-компаньонах. В ходе эксперимента они обнаружили, что агенты, взаимодействующие друг с другом, способны сохранять и использовать информацию более эффективно, чем традиционные методы.
Исследование: как ИИ-агенты решают сложные задачи через разложение
Учёные из MIT и других ведущих университетов представили исследование, посвящённое структурным принципам организации ИИ-агентов для решения сложных задач. В работе вводится концепция «алгебры разложения», которая описывает, как из ненадёжных базовых компонентов можно создать надёжные системы.
Почему большие контекстные окна в ИИ-агентах могут быть обманчивы
Недавний пост на платформе HN поднимает важный вопрос о надежности больших контекстных окон в ИИ-моделях. Автор статьи, Garrit Franke, утверждает, что несмотря на то, что большие контекстные окна позволяют моделям обрабатывать больше информации, это не всегда приводит к лучшим результатам. В частности, он отмечает, что модели могут терять фокус на ключевых деталях, что особенно критично для ИИ-агентов, где точность и контекстуальная релевантность имеют первостепенное значение.
Как сохранить контекст в ИИ-агентах без потери производительности
Разработчики ИИ-агентов часто сталкиваются с проблемой ограниченного контекста: модели не могут удерживать большие объёмы информации, что снижает их эффективность. Новый инструмент Claude API Saver предлагает решение этой проблемы, позволяя сохранять и управлять контекстом без потери производительности.
Lime 2.0: аутентификация для ИИ-агентов без участия человека
Команда Lime представила обновлённую версию своей системы аутентификации Lime 2.0, которая позволяет ИИ-агентам взаимодействовать с сервисами без участия человека. Это решение может стать важным шагом в развитии автономных агентов, так как устраняет необходимость в ручном подтверждении действий.