Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей.

Традиционное спекулятивное декодирование использует быструю «черновую» модель для генерации последовательности токенов, которые затем параллельно проверяются основной моделью. Стандартный алгоритм требует точного воспроизведения распределения основной модели, что ограничивает гибкость процесса. Новый метод вводит параметры релаксации, позволяющие динамически настраивать баланс между точностью генерации и производительностью системы.

Практические тесты показывают, что ослабление строгих ограничений позволяет эффективнее использовать вычислительные ресурсы при работе с крупными языковыми моделями. Метод не требует дообучения (training-free), что делает его легко применимым к существующим инфраструктурам инференса. Это решение особенно актуально для систем, где критически важна низкая задержка ответа при сохранении высокого качества генерации.

Ключевые факты

  • Метод Relaxed Speculative Decoding исключает необходимость дообучения вспомогательных моделей для ускорения генерации.
  • Алгоритм позволяет контролируемо отклоняться от исходного распределения вероятностей LLM для достижения прироста скорости.
  • Технология базируется на параллельной верификации токенов, предложенных быстрой вспомогательной моделью.
  • Подход сохраняет совместимость с существующими архитектурами авторегрессионных языковых моделей.