Компания PrismML представила технологию сжатия, позволившую уместить 27-миллиардную модель Bonsai 27B в объем менее 4 ГБ. Это позволяет запускать полноценную модель с продвинутыми навыками логического вывода локально на смартфонах Apple. Разработка сохраняет до 90% исходной производительности, демонстрируя минимальные потери в задачах по программированию и математике, что открывает новые возможности для мобильного ИИ.
Технология сжатия ориентирована на преодоление ограничений оперативной памяти мобильных устройств без существенного ущерба для качества ответов. Использование квантования и оптимизированных методов упаковки весов позволяет модели Bonsai 27B выполнять сложные цепочки рассуждений непосредственно на чипах Apple Silicon. Это критически важно для приватности и скорости работы приложений, так как исключает необходимость обращения к облачным серверам.
По имеющимся данным, Apple уже приступила к тестированию данной технологии сжатия. Интеграция подобных решений может значительно ускорить развитие локальных ИИ-агентов, способных выполнять ресурсоемкие задачи без интернет-соединения. Успех Bonsai 27B подтверждает тренд на миниатюризацию «рассуждающих» моделей, которые ранее требовали мощных графических ускорителей для полноценного функционирования.
Ключевые факты
- Модель Bonsai 27B сжата до размера менее 4 ГБ, что делает её пригодной для работы на современных iPhone.
- Сохранность производительности после сжатия составляет около 90% от оригинальной версии модели.
- Показатели в задачах по математике и написанию кода практически не изменились после оптимизации.
- Apple проводит тестирование технологии сжатия для потенциального внедрения в свои устройства.