llama-modchip exécute DeepSeek-V4-Flash 284B sur 64 Go CPU

Un framework d'inférence CPU-first publié par l'utilisateur synchopate, llama-modchip v2.4.0, revendique faire tenir DeepSeek-V4-Flash, un modèle de 284 milliards de paramètres, dans 64 Go de RAM d'un seul CPU, à 256K de contexte, sans aucun GPU. Le dépôt, sous licence Apache-2.0, résume son objectif dans une ligne de README : « Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). »

La compression est agressive. Les experts routés du mélange d'experts sont quantisés en IQ1_S à 1,5625 bit par poids, tandis que les trunks d'attention restent sur un mix Q4_K/Q5_K, pour une empreinte de 56,56 GiB compressée depuis 76,87 GiB. Le README annonce « 43.16–44.36 tok/s prefill » et « 9.06–10.74 tok/s decode » sur un Ryzen 9 9955HX (16 cœurs), poussés à 11,5–14,7 tok/s quand le drafter spéculatif Stockfish-PVS v2 est activé, avec une restauration de contexte annoncée à « 13.1 ms » via des snapshots KV sur /dev/shm.

Côté noyaux, le projet attribue son gain à un tuilage multi-niveau sur registres ZMM AVX-512BW puis L1D, L2 et L3, soit « 77% faster prefill, 53% faster decode » contre la baseline. Les chiffres ne sont pour l'instant validés que par l'auteur : 498 étoiles et 26 forks, aucune reproduction tierce des benchmarks n'est référencée sur la page. C'est la 42e alerte DeepSeek et la 60e alerte inférence que notre tracker enregistre sur 90 jours, dans une veine proche du récent Muir chez Google qui compressait un autre axe du coût MoE.