github.com via Hacker News

Zagitta publie un noyau Linux qui débride le FP/BF16 des RTX 3000

TL;DR

  • Le module double la cadence d'émission des instructions FP/BF16 FMA vers FP32 sur les GPU GA102, GA103, GA104 et GA106 au niveau pro.
  • Sur RTX 3090 Ti à 450 W, le BF16 passe de 87,50 à 157,41 TFLOPS, le FP16 de 87,46 à 118,39 TFLOPS, le TF32 de 42,58 à 82,61 TFLOPS.
  • Les gains BF16 GEMM vont de +25–67 % (RTX 3090) à +73–81 % (RTX 3070), avec des sorties rapportées bit-identiques avant/après.

Un module noyau Linux publié par Zagitta sur GitHub débloque la cadence d'émission des instructions FP/BF16 des RTX 3000 pour la ramener au niveau des cartes professionnelles équivalentes. Sur une RTX 3090 Ti à 450 W, le BF16 passe de 87,50 à 157,41 TFLOPS, le FP16 de 87,46 à 118,39 TFLOPS et le TF32 de 42,58 à 82,61 TFLOPS.

Le README décrit l'effet en une phrase: le module « doubles the instruction issuing speed of FP/BF16 FMA into FP32 operations on GA102, GA103, GA104 and GA106 cards ». En pratique, les gains dépendent de la charge. Les mesures BF16 GEMM affichent +68–80 % sur la 3090 Ti, +73–81 % sur la 3070 et environ +80 % sur la 3060 12 Go, mais seulement +25–67 % sur la 3090 standard selon le power limit, +70–73 % sur la 3080 10 Go et +56–59 % sur la variante 20 Go. Le prefill LLM gagne +14–36 %; les tâches limitées par la bande passante mémoire, comme le décode LLM, ne bougent pas.

Le module combine la technique V67/PLM de l'unlocker CMP avec le timing pre-driver de l'approche UEFI, et se charge via initramfs avant que le pilote Nvidia ne s'attache aux cartes (mkinitcpio, initramfs-tools et dracut sont pris en charge, l'activation passe par la ligne de commande noyau avec `gpu_unlock.targets=all` ou des adresses PCI). L'auteur revendique l'avantage opérationnel du kmod précoce: « it does not require manual patching each time nvidia releases a new driver version ». Et sur l'intégrité des sorties, le dépôt est explicite: « The reports that compared outputs found them bit-identical before and after ».

Le noyau et le packaging local sont publiés sous GPL-2.0-only; le payload dérive de la référence CMP épinglée et le firmware Nvidia reste sous ses propres termes. La séquence Nvidia reste dense sur notre radar, avec 126 alertes trackées sur 90 jours.