Nvidia sert GLM-5.3 à 607,8 tok/s sur deux DGX Stations GB300 via vLLM et une approche tensor parallel

Nvidia publie un tutoriel sur le service de GLM-5.3 (MoE 753 Mds de paramètres, 40 Mds activés par token, quantisé NVFP4) nécessitant ~464 Go de VRAM, réparti sur deux DGX Stations GB300 connectées en ConnectX-8 RDMA sur RoCE. Débit maximal de 607,8 tokens/s à concurrence 16, 385 tok/s à concurrence 32, grâce à tensor parallelism TP=2, speculative decoding à 4 drafts, KV-cache FP8 et prefix caching. Un modèle frontier open source dépassant une seule GPU peut donc être servi localement avec les bons paramétrages.