arXiv · 18.06.2026 ·Исследования и наука

Новый подход к токенизации интересов пользователей в генеративных рекомендательных системах

Исследователи представили метод структурирования и токенизации распределенного контекста интересов пользователей для генеративных рекомендательных систем. Традиционные подходы к рекомендациям часто сталкиваются с трудностями при обработке сложных данных о поведении пользователей, что ограничивает точность прогнозирования будущих взаимодействий. Предложенная архитектура направлена на более эффективное связывание семантики объектов с моделями рекомендаций.

Ключевой особенностью разработки является способ представления истории действий пользователя в виде токенов, которые модель может интерпретировать как последовательный контекст. Это позволяет системе лучше учитывать динамику интересов и предлагать более релевантный контент. Авторы работы сфокусировались на том, чтобы сделать процесс обучения моделей более устойчивым к шуму в данных, который неизбежно возникает при анализе длительных цепочек пользовательских предпочтений.

Результаты исследования показывают, что использование структурированных токенов интереса позволяет генеративным моделям точнее предсказывать следующие шаги пользователя по сравнению с классическими методами эмбеддингов. Данный подход открывает возможности для внедрения генеративного ИИ в высоконагруженные рекомендательные системы, где критически важна скорость обработки контекста и точность персонализации.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. Hacker News · Инфраструктура для агентов Оптимизация контекста для снижения расхода токенов в ИИ-агентах Разработчики представили решение, позволяющее сократить потребление токенов более чем на 60% при выполнении агентных задач. Основной принцип работы заключается в автоматическом выявлении и удалении избыточного, повторяющегося контекста, который часто накапливается в ходе многошаговых рассуждений или длительных сессий взаимодействия с языковыми моделями. Hacker News · Память и RAG Рекурсивные языковые модели и нейросимволическое управление контекстом Исследователи предлагают новый подход к управлению контекстом в ИИ-агентах, сочетающий рекурсивные языковые модели и нейросимволические методы. Этот метод позволяет более эффективно обрабатывать и хранить информацию, что критически важно для построения сложных агентов. arXiv · Машинное обучение Новый метод обучения симуляторов пользователей через Turing Rewards Исследователи представили новый подход к обучению симуляторов человеческого поведения, которые необходимы для тестирования ИИ-ассистентов и систем персонализации. Традиционные методы обычно ограничиваются обучением языковых моделей на предсказании одного эталонного ответа, что часто приводит к предсказуемым и недостаточно вариативным результатам. Авторы работы предлагают использовать концепцию Turing Rewards, которая позволяет модели обучаться в интерактивной среде, ориентируясь на более сложные критерии взаимодействия, чем простое совпадение текста. arXiv · Инференс и железо Четырехуровневая архитектура оптимизации инференса больших моделей Исследователи представили новую методологию оптимизации инференса для крупномасштабных языковых моделей, сфокусированную на операциях с токенами. Основная цель разработки — снижение стоимости вычислений и повышение стабильности работы сервисов при масштабировании. Предложенная архитектура систематизирует подходы к ускорению генерации текста, объединяя программные и аппаратные уровни взаимодействия. arXiv · Инференс и железо Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. arXiv · Машинное обучение Новый подход к устранению предвзятости в моделях машинного обучения Исследователи представили методологию борьбы с предвзятостью в алгоритмах, которая учитывает пересечение нескольких защищаемых атрибутов, таких как раса и гендер. Традиционные методы часто не справляются с ситуациями, когда дискриминация проявляется только при сочетании нескольких факторов, что приводит к снижению точности моделей для определенных групп населения. Основная проблема заключается в нехватке репрезентативных данных для таких подгрупп и отсутствии четких математических метрик для оценки справедливости. Hugging Face - Blog · Другое Direct Preference Optimization за пределами чатботов Исследователи из Dharma AI представили новый подход к Direct Preference Optimization (DPO), который выходит за рамки традиционных чатботов. В статье на Hugging Face они демонстрируют, как DPO может быть применён для улучшения поведения ИИ-агентов в более сложных сценариях, включая многозадачные и интерактивные системы. AI News & Artificial Intelligence | TechCrunch · ИИ в бизнесе Платформы соцсетей внедряют алгоритмы с пользовательским управлением Крупные социальные платформы, включая Instagram (принадлежит Meta, признанной экстремистской и запрещённой в РФ), Threads и TikTok, начали внедрять инструменты, позволяющие пользователям напрямую влиять на работу рекомендательных систем. Ранее алгоритмы подбора контента функционировали как «черные ящики», где параметры ранжирования определялись исключительно внутренними метриками вовлеченности. Теперь компании предоставляют интерфейсы для настройки предпочтений, что меняет подход к формированию лент новостей. Hacker News · ИИ в бизнесе Трансформация электронной коммерции в эпоху ИИ Майкл Мортон в интервью Stratechery обсудил фундаментальные изменения в модели взаимодействия ритейлеров с покупателями. Основной акцент сделан на переходе от традиционного поиска по ключевым словам к агентным системам, которые способны самостоятельно подбирать товары на основе глубокого анализа предпочтений и контекста пользователя. Это меняет саму структуру воронки продаж, где ИИ-ассистенты становятся посредниками между брендом и клиентом.

← Все материалы