Fulu Foundation инициировала проект по запуску локальных LLM на игровой консоли PlayStation 5. Организация предлагает денежное вознаграждение исследователям, которые смогут реализовать полноценный инференс моделей на аппаратном обеспечении приставки. Цель инициативы — преодолеть закрытость экосистемы Sony и изучить потенциал мощных графических процессоров консолей для выполнения задач искусственного интеллекта вне стандартных игровых сценариев.
PlayStation 5 обладает производительным железом, включая кастомный GPU на архитектуре AMD RDNA 2, который теоретически способен справляться с инференсом моделей среднего размера. Однако проприетарная операционная система и жесткие ограничения доступа к системным ресурсам делают запуск стороннего ПО крайне сложной задачей. Успешная реализация проекта может открыть путь к использованию игровых консолей в качестве доступных узлов для локальных вычислений.
Исследователи стремятся не просто запустить модель, а добиться приемлемой скорости генерации токенов, что требует глубокой оптимизации под архитектуру консоли. В случае успеха это станет прецедентом для использования потребительской электроники в качестве инфраструктуры для распределенных ИИ-вычислений, минуя необходимость аренды дорогостоящих облачных GPU.
Ключевые факты
- Fulu Foundation выделила грант для разработчиков, способных обеспечить работу LLM на PS5.
- Основной технический барьер заключается в закрытой архитектуре ОС и отсутствии открытых драйверов для полноценного использования GPU в задачах машинного обучения.
- Проект ориентирован на изучение возможности использования игрового оборудования как альтернативы серверным решениям для инференса.
- Успешная реализация потребует обхода ограничений безопасности системы и написания кастомных библиотек для взаимодействия с графическим ядром консоли.