DeepSeek ouvre DeepInfer sous Apache 2.0, moteur de son V4.1-Flash

DeepSeek a publié DeepInfer sous licence Apache 2.0, le framework d'inférence qu'il dit faire tourner derrière ses services de production. La première release ne sert qu'un seul modèle, DeepSeek-V4.1-Flash, et uniquement en mode offline.

Le dépôt vise explicitement deux cibles matérielles: les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, avec Linux, GCC ≥ 13.0, Python 3.12, CUDA 13 ou CANN 9.2 en prérequis. Côté kernels, DeepInfer embarque FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang maison. Le projet reconnaît lui-même qu'il "builds upon vLLM, with additional inspiration from SGLang and TensorRT-LLM".

Les capacités mises en avant tournent autour du speculative decoding via DSpark et confidence-scheduled verification, du decoder SWA bounded replay, d'un ordonnancement asynchrone qui chevauche le batch scheduling CPU et l'exécution device, d'une inférence batch-invariant, d'un sampling déterministe et de sorties contraintes par regex, JSON schema ou grammaire EBNF.

Côté chiffres, DeepSeek avance pour V4.1-Flash un throughput de 155 trillions de tokens par jour et par cluster, un hit rate de 96% sur le cache d'entrée, un time-to-first-token moyen d'environ 400 ms et une vitesse de génération de 230 tokens/seconde, montant jusqu'à 300 tok/s pour le code, selon Cryptobriefing. Les benchmarks du dépôt sont mesurés sur 4 GPU SM100 pour le prefill et 64 GPU pour le decode.

Plusieurs briques critiques manquent à l'appel. Le KV cache system, la désagrégation prefill/decode et le load balancing cross-replicas sont, de l'aveu du projet, "not included in this release". Autrement dit, le code ouvert est un moteur, pas une stack de serving complète.

L'ouverture arrive dans une actualité DeepSeek chargée: l'alignement du pré-entraînement de la maison sur les Ascend 950DT de Huawei et l'injonction du DHS de retirer ses produits des systèmes IT civils fédéraux américains datent tous deux de la semaine dernière, et comptent parmi nos 42 dépêches DeepSeek des 90 derniers jours.