Jamesob's guide to running SOTA LLMs locally : le manuel Hacker News pour bâtir un cluster de GPU personnel de 2 000 à 40 000 $

Le développeur James O'Beirne publie un guide GitHub exhaustif pour opérer localement des LLM de la classe GLM-5.2-594B, avec configurations Docker, tuning BIOS, kernel et bascule PCIe. Le manuel — 378 points sur Hacker News en 25h — propose des builds de 2 000 $ (RTX 3090) à 40 000 $ (RTX 6000 Pro) et détaille l'implémentation Whisper pour la voix. L'auteur assume que tout le README hors tableaux a été rédigé par une IA.