PS5LM: Qwen 3.5 9B à 55 tok/s sur PS5 jailbreakée via Vulkan

cobanov/PS5LM transforme une PS5 jailbreakée en serveur d'inférence via le backend Vulkan de llama.cpp, exposé derrière des endpoints OpenAI `/v1/chat/completions` et Anthropic `/v1/messages`. Sur une PS5 Slim, le dépôt annonce 207 tokens/seconde pour Qwen 3.5 0.8B (Q4_K_M, 0,5 Go) et 55 tok/s pour Qwen 3.5 9B (Q4_K_M, 5,3 Go).

Le README pousse plus loin: Qwen 3.8 27B en quantization UD-Q2_K_XL (9,2 Go) tourne à environ 20 tok/s avec 64k de contexte, et un modèle de décision d1 Omni 600M traite «3 questions in 0.3s». Côté licence, le projet retient «GPL-3.0-or-later, see LICENSE. llama.cpp keeps its MIT licence, Manrope its OFL».

La bascule exige un firmware PS5 entre 7.00 et 13.60, avec les payloads kstuff-lite, etaHEN et ShadowMountPlus. Back2Gaming documente par ailleurs un fork d'Abhiram, baptisé PS5LM Plus, qui bascule l'inférence sur le GPU RDNA 2 via le driver Mesa RADV porté sur la console: Qwen 3.8 27B grimpe alors à 20,3 tok/s et Llama 3.2 3B Instruct atteint 124 tok/s, en cross-compilant llama.cpp «with no changes to its source».

Un détail refroidit l'enthousiasme: Back2Gaming note que le firmware 14.00, sorti le 16 septembre 2026, a patché l'exploit Relapse. Dans le prolongement de notre récente couverture inférence, de Liquid AI à Nemotron Bolt, cette démonstration ajoute une console grand public à la liste du matériel ciblé par llama.cpp.