Разработчик Мэтт Бетон реализовал инференс языковой модели на 8-битном процессоре MOS 6502, выпущенном в 1975 году. Проект демонстрирует работу квантованной модели BitNet b1.58 на крайне ограниченном аппаратном обеспечении. Несмотря на архитектурные ограничения процессора с частотой 1 МГц, удалось добиться генерации текста, что подтверждает эффективность экстремальной оптимизации весов моделей для работы на винтажных вычислительных системах.
В основе реализации лежит использование 1.58-битных весов (BitNet), где каждый параметр принимает значения -1, 0 или 1. Такой подход позволяет заменить ресурсоемкие операции умножения с плавающей запятой на простые побитовые операции сложения и вычитания. Для процессора 6502, не имеющего аппаратного умножителя, это стало критическим фактором, позволившим выполнить вычисления в рамках доступной оперативной памяти и тактовой частоты.
Проект подчеркивает потенциал архитектур с низким потреблением ресурсов для задач локального инференса. Использование тернарных весов радикально снижает требования к пропускной способности памяти и вычислительной мощности, позволяя запускать базовые агентные функции даже на микроконтроллерах и устаревших процессорах, которые ранее считались непригодными для задач машинного обучения.
Ключевые факты
- Модель BitNet b1.58 использует тернарные веса (-1, 0, 1), что исключает необходимость в операциях умножения.
- Процессор MOS 6502 имеет 8-битную архитектуру и стандартную частоту 1 МГц.
- Реализация использует оптимизированный код на ассемблере для минимизации задержек при выполнении матричных операций.
- Проект доказывает возможность выполнения нейросетевых вычислений на устройствах с объемом памяти, измеряемым в килобайтах.