Исследователи представили метод оптимизации инференса для 27-миллиардных тернарных LLM, объединяющий весь процесс декодирования в единое CUDA-ядро. Это решение радикально снижает накладные расходы на передачу данных между памятью и вычислительными блоками GPU, позволяя значительно увеличить пропускную способность и скорость генерации токенов при сохранении высокой точности работы квантованных моделей на потребительском и серверном железе.
Традиционные подходы к инференсу часто упираются в ограничения пропускной способности памяти, так как каждый этап вычислений требует обращения к VRAM. Объединение операций в одно ядро (kernel fusion) минимизирует количество чтений и записей, что критически важно для работы с большими весами моделей. Использование тернарных весов (где значения ограничены -1, 0, 1) дополнительно упрощает арифметические операции, позволяя эффективно использовать специализированные инструкции графических процессоров.
Данный подход открывает возможности для запуска моделей среднего размера на более доступном оборудовании без существенной потери качества. Оптимизация на уровне CUDA-ядер позволяет разработчикам инфраструктуры ИИ-агентов сократить задержки (latency) при работе с локальными моделями, что является ключевым фактором для создания отзывчивых систем в реальном времени.
Ключевые факты
- Метод ориентирован на модели с 27 миллиардами параметров, использующие тернарную квантованную архитектуру.
- Технология kernel fusion объединяет все этапы декодирования в один проход, исключая лишние операции записи в память.
- Оптимизация направлена на устранение «узкого горлышка» пропускной способности памяти (memory bandwidth bottleneck).
- Решение позволяет значительно повысить скорость генерации токенов (tokens per second) на стандартных GPU архитектурах.