arXiv · 29.07.2026 ·Машинное обучение

DenseOn и LateOn: открытые модели для поиска с длинным контекстом и поддержкой языков

Исследователи представили DenseOn и LateOn — полностью открытые модели для семантического поиска, решающие проблему зависимости индустрии от закрытых данных. Авторы разработали комплексный пайплайн обучения, включающий 665 млн пар данных, и продемонстрировали эффективность переноса англоязычного обучения на многоязычные задачи, обеспечивая высокую точность в поиске по коду и длинным документам при полной воспроизводимости результатов.

Современные системы поиска (retrieval) часто опираются на проприетарные датасеты, что затрудняет независимую проверку и развитие технологий. Новый подход предлагает прозрачный рецепт создания моделей, начиная от фильтрации 1,4 млрд пар данных из 34 публичных источников до этапов контрастивного обучения. Это позволяет разработчикам создавать высокопроизводительные поисковые движки без необходимости полагаться на «черные ящики» крупных корпораций.

Особое внимание в работе уделено архитектуре Late-Interaction, которая позволяет эффективно обрабатывать длинные контексты и сложные запросы, характерные для программирования и многоязычной документации. Использование метода translate-train для адаптации моделей показало, что качественные англоязычные данные могут успешно масштабироваться на другие языки, сохраняя при этом низкую задержку и высокую релевантность выдачи.

Ключевые факты

Датасет для обучения сформирован из 665 млн контрастивных пар, отобранных из 1,4 млрд доступных записей.
Обучение охватывает 34 публичных источника данных, обеспечивая полную воспроизводимость процесса.
Модели оптимизированы для работы с длинным контекстом и специализированными задачами, такими как поиск по исходному коду.
Предложенный метод демонстрирует успешный перенос знаний (transfer learning) с английского языка на многоязычные сценарии через технику translate-train.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Генерация синтетических данных для перевода редких языков на основе грамматик Исследователи представили пайплайн для создания синтетических параллельных корпусов, необходимых для обучения систем машинного перевода редких языков. Вместо использования грамматических справочников в контексте промптов при инференсе, метод извлекает из них правила, лексику и примеры предложений с помощью LLM. Это позволяет эффективно дообучать модели для языков с крайне ограниченным объемом цифровых данных. Hacker News · Модели и релизы DeepSeek представила новую архитектуру для эффективного обучения моделей Компания DeepSeek выпустила обновление, которое существенно меняет подход к обучению крупномасштабных языковых моделей. Разработчики представили архитектурные решения, позволяющие значительно сократить вычислительные затраты при сохранении высокой производительности. Новые методы оптимизации направлены на повышение эффективности работы с параметрами и ускорение процесса обучения, что делает передовые ИИ-технологии более доступными для широкого спектра задач. Hacker News · Исследования и наука Технологический прорыв DeepSeek в архитектуре нейросетей Китайская исследовательская лаборатория DeepSeek представила архитектуру, которая существенно меняет подход к обучению и работе крупных языковых моделей. В основе решения лежит использование архитектуры Mixture-of-Experts (MoE) с глубокой оптимизацией процесса активации параметров. Вместо того чтобы задействовать всю нейросеть целиком для каждого запроса, система активирует лишь малую часть весов, что позволяет радикально снизить вычислительные затраты при сохранении высокой точности ответов. Hacker News · Обучение и дообучение Текущее состояние непрерывного обучения для больших языковых моделей Непрерывное обучение (continual learning) остается одной из главных проблем в развитии LLM, так как модели склонны к «катастрофическому забыванию» при попытке освоить новые данные без переобучения на всем массиве. На текущий момент индустрия фокусируется на методах эффективной адаптации знаний, позволяющих обновлять модель без потери ранее усвоенной информации и значительных вычислительных затрат. Hacker News · Обучение и дообучение Опыт обучения компактных высокопроизводительных моделей Максим Лабонн из Liquid AI представил подробный разбор процесса создания «малых» моделей (Small Language Models), которые по своим характеристикам приближаются к крупным языковым системам. В основе подхода лежит оптимизация архитектуры и качества данных, позволяющая достичь высокой эффективности при ограниченных вычислительных ресурсах. Основное внимание уделяется этапам подготовки датасетов, выбору стратегий токенизации и настройке гиперпараметров, которые критически влияют на итоговую производительность модели. Hacker News · Инфраструктура для агентов Оптимизация веб-поиска для локальных LLM без перерасхода контекстного окна Разработан метод эффективного подключения веб-поиска к локальным языковым моделям, позволяющий минимизировать потребление токенов. Вместо передачи полного содержимого веб-страниц в контекстное окно, решение использует специализированные инструменты для извлечения релевантных фрагментов данных. Это позволяет компактным моделям выполнять поисковые задачи, сохраняя производительность и избегая ограничений контекста, характерных для работы с объемным контентом в реальном времени. arXiv · Исследования и наука Новый подход к отбору данных для суммаризации научных текстов Исследователи представили метод повышения качества обучения моделей для суммаризации длинных научных документов. Авторы работы доказали, что использование всех доступных аннотаций от авторов статей не всегда эффективно из-за их неоднородного качества. Предложенный алгоритм фильтрации данных позволяет отбирать наиболее релевантные примеры, что значительно улучшает точность генерации кратких изложений для моделей с длинным контекстным окном. Hacker News · Исследования и наука Влияние лингвистической экспертизы на оптимизацию инференса LLM Исследование показывает прямую корреляцию между привлечением лингвистов к процессу разработки и снижением затрат на инференс больших языковых моделей. Авторы доказывают, что глубокая работа над структурой данных, токенизацией и качеством обучающих выборок позволяет достичь высокой производительности при использовании менее ресурсоемких моделей, что существенно сокращает операционные расходы на вычислительные мощности. MarkTechPost · Машинное обучение Liquid AI представила компактные модели для многоязычного поиска Компания Liquid AI выпустила новые модели LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, предназначенные для эффективного семантического поиска. Решения базируются на архитектуре с 350 миллионами параметров и оптимизированы для работы на периферийных устройствах, что позволяет использовать их локально без обращения к облачным серверам. Hacker News · Обучение и дообучение Методы адаптации предобученных ИИ-агентов для работы с закрытым кодом Разработчики часто сталкиваются с тем, что модели, обученные на публичных репозиториях, плохо понимают специфику проприетарных кодовых баз. Для повышения эффективности агентов в закрытой среде эксперты рекомендуют использовать комбинацию методов дообучения (fine-tuning) на специфических данных и оптимизацию контекстного окна, что позволяет модели лучше адаптироваться к архитектурным особенностям конкретного проекта и внутренним стандартам разработки.

← Все материалы