Together.ai · 30.03.2026 ·Инференс и железо

Aurora: фреймворк для самоподдерживающегося speculative decoding

Together AI представила Aurora — открытый фреймворк для reinforcement learning (RL), который преобразует speculative decoding из одноразовой настройки в самоулучшающуюся систему. Aurora обучается на каждом запросе, что позволяет повысить производительность модели на 25% по сравнению с традиционными методами.

Спекулятивное декодирование ускоряет генерацию текста, но обычно требует сложной предварительной настройки. Aurora автоматизирует этот процесс, создавая цикл обратной связи, где модель постоянно улучшает свои стратегии декодирования.

Фреймворк совместим с различными моделями и может быть интегрирован в существующие инфраструктуры. Together AI планирует развивать Aurora как часть открытой экосистемы, приглашая сообщество к участию в доработке и тестировании.

Aurora может найти применение в чат-ботах, генерации кода и других задачах, где важна скорость и точность вывода. Вместе с тем, фреймворк демонстрирует потенциал RL в оптимизации инференса, что может стать важным шагом в развитии ИИ-агентов.

Источник: Together.ai

Похожие материалы

GitHub · Обучение и дообучение Tencent представил фреймворк UniRL для обучения мультимодальных моделей Компания Tencent выпустила фреймворк UniRL, предназначенный для обучения мультимодальных моделей с использованием подкрепляющего обучения (Reinforcement Learning). Этот инструмент позволяет интегрировать различные типы данных, включая текст, изображения и видео, в единый процесс обучения. Это особенно важно для разработки ИИ-агентов, которые должны эффективно обрабатывать и анализировать разнообразные данные. arXiv · Разработка и инструменты LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Инфраструктура для агентов AdaSR: адаптивное потоковое рассуждение для динамических сценариев Исследователи из MIT и Google Research представили AdaSR — фреймворк для адаптивного потокового рассуждения, который позволяет ИИ-моделям обрабатывать динамические данные, такие как аудио- и видеопотоки. В отличие от традиционных подходов, где модели анализируют статичный контекст, AdaSR работает с частичными наблюдениями, обновляя свои выводы по мере поступления новой информации. GitHub · Модели и релизы JoyAI-Echo: генерация длинных аудиовизуальных последовательностей Команда JD AI представила JoyAI-Echo — фреймворк для генерации длинных аудиовизуальных последовательностей. Это решение позволяет создавать синхронизированные аудио- и видеоконтент, что может быть полезно для разработки ИИ-агентов, работающих с мультисенсорными данными. Hacker News · Оркестрация агентов Универсальный фреймворк для разрешения противоречий в ИИ-агентах Исследователи представили новый фреймворк для разрешения противоречий в различных доменах, что может стать важным инструментом для разработки ИИ-агентов. Фреймворк позволяет анализировать и устранять противоречия в данных, что особенно актуально для агентов, работающих с разнородными источниками информации. Hugging Face - Blog · Память и RAG Ecom-RLVE: адаптивные среды для чат-ботов в e-commerce Исследователи представили Ecom-RLVE — фреймворк для создания адаптивных и проверяемых сред обучения для чат-ботов в сфере e-commerce. Это решение позволяет создавать динамические среды, которые могут адаптироваться к изменениям в данных и поведении пользователей, что критически важно для разработки ИИ-агентов, работающих в условиях высокой изменчивости. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. Hacker News · Инфраструктура для агентов CoreAI_HTCE: фреймворк для создания ИИ-агентов с поддержкой памяти и RAG Разработчики из команды CoreAI представили фреймворк CoreAI_HTCE, предназначенный для создания ИИ-агентов с расширенными возможностями. Основное преимущество проекта — поддержка механизмов памяти и RAG (Retrieval-Augmented Generation), что позволяет агентам эффективно работать с контекстом и хранить информацию для последующего использования. arXiv · Память и RAG CORA: метод для устранения разрыва между мышлением и ответом в многомодальных ИИ-агентах Исследователи из MIT и других ведущих университетов представили метод CORA (Consistency-Oriented Reasoning Alignment), который решает проблему несоответствия между процессом рассуждений и конечным ответом в многомодальных системах с подкрепляющим обучением и проверяемыми вознаграждениями (RLVR). Hacker News · Обучение и дообучение GoLongRL: новый подход к обучению агентов с длинным контекстом Исследователи из XiaoxuanNLP представили GoLongRL — фреймворк для обучения агентов с длинным контекстом, основанный на подходе reinforcement learning (RL). В отличие от традиционных методов, GoLongRL фокусируется на способностях (capabilities) агентов, а не на конкретных задачах, что позволяет лучше адаптироваться к новым сценариям.

← Все материалы