Huawei open source MACaQ, quantization MXFP4 W4A4 d'un modèle 122B en 64 minutes sur 32,5 Go

Huawei a publié en Apache 2.0 MACaQ, son quantizer interne pour l'inférence locale sur GGUF, llama.cpp, vLLM, Diffusers et PyTorch. La méthode MXFP4 W4A4 post-training applique en ligne un scale par canal et une transformée Hadamard par bloc à chaque linéaire, et absorbe l'inverse dans les poids ; elle quantise un modèle de 122B paramètres en 64 minutes avec seulement 32,5 Go de mémoire. Les auteurs revendiquent une perplexité inférieure à MR-GPTQ et DuQuant++ et un temps de quantization 11× plus court sur Llama-3-8B.