Hacker News · 05.08.2026 ·ИИ в бизнесе

Как Neon оптимизировала RAG-системы для превосходства над топовыми моделями

Компания Neon представила архитектуру Castform, которая позволяет превзойти проприетарные модели в задачах поиска и извлечения данных (RAG) при снижении затрат в 100 раз. Используя комбинацию открытых моделей и специализированных методов индексации, разработчики добились высокой точности ответов, сохранив при этом полную автономность инфраструктуры и значительную экономию вычислительных ресурсов по сравнению с использованием API закрытых систем.

Основная проблема большинства RAG-систем заключается в избыточном потреблении токенов и высокой задержке при работе с крупными языковыми моделями (LLM). В Neon пересмотрели подход к обработке контекста, внедрив оптимизированные пайплайны, которые фильтруют релевантную информацию до того, как она попадет в основную модель. Это позволяет использовать компактные и эффективные open-source решения, которые справляются с поиском по документации эффективнее, чем универсальные модели общего назначения.

Переход на собственную инфраструктуру позволил компании не только сократить расходы, но и повысить предсказуемость работы системы. В отличие от облачных API, где качество ответов может меняться после обновлений моделей, Castform обеспечивает стабильность за счет жесткого контроля над весами используемых нейросетей и методами векторизации данных. Такой подход доказывает, что для узкоспециализированных корпоративных задач локально развернутые модели могут быть эффективнее и дешевле рыночных лидеров.

Ключевые факты

Архитектура Castform позволила снизить стоимость инференса в 100 раз по сравнению с использованием frontier-моделей.
Система демонстрирует более высокую точность в задачах retrieval-augmented generation (RAG) на специфических технических данных.
Решение базируется на открытых моделях, что исключает зависимость от обновлений API сторонних провайдеров.
Оптимизация пайплайна позволила значительно сократить количество токенов, передаваемых в контекстное окно LLM, без потери качества ответов.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG Оптимизация RAG: как отсеивать 68% лишнего контекста с помощью компактной LLM Команда Kapa.ai разработала метод фильтрации контекста для RAG-систем, позволяющий отсеивать до 68% нерелевантных данных перед подачей в основную модель. Использование компактной LLM для предварительной оценки фрагментов позволяет снизить затраты на токены и повысить точность ответов, исключая «шум» из поисковой выдачи векторных баз данных без потери качества генерации. Hacker News · Память и RAG Новый метод RAG от Emory и IBM повышает точность до 97% при снижении затрат токенов Исследователи из Университета Эмори и IBM представили метод управляемого поиска (Governed AI retrieval), который значительно оптимизирует работу RAG-систем. Технология позволяет достичь 97% точности ответов, сокращая при этом расход токенов на 67%. Подход фокусируется на строгом контроле контекста, что минимизирует галлюцинации и повышает эффективность обработки данных в корпоративных ИИ-решениях. Hacker News · Инфраструктура для агентов Оптимизация веб-поиска для локальных LLM без перерасхода контекстного окна Разработан метод эффективного подключения веб-поиска к локальным языковым моделям, позволяющий минимизировать потребление токенов. Вместо передачи полного содержимого веб-страниц в контекстное окно, решение использует специализированные инструменты для извлечения релевантных фрагментов данных. Это позволяет компактным моделям выполнять поисковые задачи, сохраняя производительность и избегая ограничений контекста, характерных для работы с объемным контентом в реальном времени. Hacker News · Память и RAG Почему бесконечное контекстное окно — не панацея для работы с данными Разработчики всё чаще отказываются от идеи бесконечного расширения контекстного окна LLM в пользу архитектур с внешним управлением памятью. Вместо того чтобы загружать огромные массивы данных напрямую в модель, эффективнее использовать специализированные системы поиска и извлечения информации. Это позволяет снизить затраты на инференс, повысить точность ответов и избежать проблем с «забыванием» данных при длинных контекстах. Hacker News · Исследования и наука Вычислительный арбитраж в рынках ИИ-моделей через роутинг и дообучение Исследователи представили концепцию вычислительного арбитража, позволяющую оптимизировать затраты на инференс при работе с гетерогенными рынками ИИ-моделей. Метод использует динамический роутинг запросов между моделями разного размера и специализированное дообучение, что позволяет достичь производительности топовых LLM при значительно меньших вычислительных расходах, эффективно перераспределяя нагрузку в зависимости от сложности конкретной задачи. Hacker News · Память и RAG Почему RAG-системы ошибаются: проблема поиска, а не генерации Часто ошибки RAG-систем ошибочно списывают на галлюцинации языковых моделей, однако корень проблемы кроется в неэффективном поиске контекста. Если система не находит релевантных данных в базе, модель вынуждена либо признать незнание, либо пытаться заполнить пробелы, что приводит к фактическим неточностям. Качество ответов напрямую зависит от точности извлечения информации, а не от способности LLM к генерации. Hugging Face - Blog · Исследования и наука Анализ производительности новых LLM в задачах RAG Исследование Dharma AI подтверждает, что новейшие языковые модели сохраняют преимущество в задачах с использованием внешних знаний (RAG), несмотря на рост их сложности. Анализ показывает, что современные архитектуры эффективнее справляются с извлечением и синтезом информации из контекста, минимизируя галлюцинации и повышая точность ответов по сравнению с предыдущими поколениями моделей при работе с аналогичными наборами данных. arXiv · Память и RAG GeoRAG: новый подход к оптимизации контекста в RAG-системах Исследователи представили GeoRAG — метод оптимизации выбора контекста для RAG-систем, решающий проблему неполного охвата информации при сложных запросах. Вместо стандартного ранжирования чанков по близости к одному эмбеддингу, система переосмысливает поиск как задачу покрытия информационных потребностей. Это позволяет эффективно обрабатывать многоходовые и неоднозначные вопросы, избегая избыточности и потери важных деталей. Hacker News · Память и RAG MothRAG: фреймворк для многошагового RAG без графовых баз данных MothRAG — это новый подход к реализации многошагового (multi-hop) поиска в RAG-системах, который позволяет извлекать сложные логические связи из данных без необходимости построения и поддержки графовых структур. Решение ориентировано на снижение затрат и упрощение архитектуры, исключая дорогостоящие этапы переиндексации, характерные для классических графовых RAG-решений. Hacker News · Память и RAG Архитектурный выбор: объединение глобальных знаний, поиска и RAG При проектировании систем на базе LLM возникает вопрос оптимальной стратегии поиска контекста. Разработчики обсуждают целесообразность комбинирования предобученных знаний модели, внешнего интернет-поиска и локальных RAG-систем. Выбор архитектуры напрямую влияет на точность ответов, задержку инференса и стоимость эксплуатации, требуя баланса между актуальностью данных и вычислительными затратами на извлечение информации.

← Все материалы