Энтузиаст успешно портировал и запустил языковую модель Llama 2 на 16-битной операционной системе MS-DOS. Проект демонстрирует возможности оптимизации инференса для работы в экстремально ограниченных вычислительных средах, где отсутствуют современные библиотеки, многопоточность и полноценная поддержка управления памятью, характерные для актуальных стеков разработки ИИ-решений.
Реализация потребовала написания кастомного загрузчика и низкоуровневой работы с памятью, так как стандартные инструменты для запуска нейросетей требуют современных 64-битных ОС. Автор адаптировал вычислительный граф модели для работы в режиме реального времени, преодолевая ограничения архитектуры x86 в реальном режиме адресации, что подчеркивает гибкость современных методов квантования и компактных форматов весов моделей.
Этот эксперимент показывает, что при должной оптимизации вычислительного ядра даже крупные языковые модели могут функционировать на «железе» и программных платформах, которые считались устаревшими десятилетия назад. Это открывает перспективы для встраивания ИИ-инференса в узкоспециализированные промышленные системы и встраиваемые устройства с минимальными системными требованиями.
Ключевые факты
- Использована модель Llama 2, адаптированная для работы в 16-битной среде MS-DOS.
- Проект преодолел ограничения по работе с оперативной памятью, характерные для архитектуры x86 в реальном режиме.
- Реализация потребовала создания собственного стека для выполнения тензорных вычислений без использования современных библиотек типа PyTorch или TensorFlow.
- Демонстрация доказывает возможность выполнения инференса на оборудовании, не имеющем поддержки современных инструкций процессора и многозадачности.