github.com via Hacker News

DeepSeek ouvre DeepInfer sous Apache 2.0, moteur de son V4.1-Flash

Par Publié Mis à jour
5 médias qui couvrent ce sujet
DeepSeek Open Source Inference ai-business

TL;DR

  • DeepInfer supports both Nvidia SM100 GPUs and Huawei Ascend 950 NPUs at launch, embedding Chinese silicon directly into the open-source deployment path.
  • The engine is built on vLLM with DeepSeek's custom kernel stack (FlashMLA, DeepGEMM, DeepEP) and crossed 10,000 GitHub stars within days of release.
  • Three production subsystems are deliberately absent from the release: KV cache management, prefill/decode disaggregation, and load balancing across replicas.

DeepSeek a publié DeepInfer sous licence Apache 2.0, le framework d'inférence qu'il dit faire tourner derrière ses services de production. La première release ne sert qu'un seul modèle, DeepSeek-V4.1-Flash, et uniquement en mode offline.

Le dépôt vise explicitement deux cibles matérielles: les GPU NVIDIA SM100 et les NPU Huawei Ascend 950, avec Linux, GCC ≥ 13.0, Python 3.12, CUDA 13 ou CANN 9.2 en prérequis. Côté kernels, DeepInfer embarque FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang maison. Le projet reconnaît lui-même qu'il "builds upon vLLM, with additional inspiration from SGLang and TensorRT-LLM".

Les capacités mises en avant tournent autour du speculative decoding via DSpark et confidence-scheduled verification, du decoder SWA bounded replay, d'un ordonnancement asynchrone qui chevauche le batch scheduling CPU et l'exécution device, d'une inférence batch-invariant, d'un sampling déterministe et de sorties contraintes par regex, JSON schema ou grammaire EBNF.

Côté chiffres, DeepSeek avance pour V4.1-Flash un throughput de 155 trillions de tokens par jour et par cluster, un hit rate de 96% sur le cache d'entrée, un time-to-first-token moyen d'environ 400 ms et une vitesse de génération de 230 tokens/seconde, montant jusqu'à 300 tok/s pour le code, selon Cryptobriefing. Les benchmarks du dépôt sont mesurés sur 4 GPU SM100 pour le prefill et 64 GPU pour le decode.

Plusieurs briques critiques manquent à l'appel. Le KV cache system, la désagrégation prefill/decode et le load balancing cross-replicas sont, de l'aveu du projet, "not included in this release". Autrement dit, le code ouvert est un moteur, pas une stack de serving complète.

L'ouverture arrive dans une actualité DeepSeek chargée: l'alignement du pré-entraînement de la maison sur les Ascend 950DT de Huawei et l'injonction du DHS de retirer ses produits des systèmes IT civils fédéraux américains datent tous deux de la semaine dernière, et comptent parmi nos 42 dépêches DeepSeek des 90 derniers jours.

Ce qu'en disent les autres médias

Couverture consolidée 24h après publication

  1. Bloomberg Lire →

    Tier-1 business wire pickup; positions DeepInfer as an enterprise cost-reduction play, reaching the CFO and infrastructure buyer audience.

  2. The Next Web Lire →

    Cites open-weight models at 23% of Vercel AI Gateway spend and flags the one-day gap between the DHS ban order and this release.

    open-weight models now represent 23% of Vercel's AI Gateway spending
  3. The Decoder Lire →

    Adds companion deepseek-recipe release for token standardization; frames pricing pressure on OpenAI and Anthropic as the direct commercial consequence.

    to help the community lower compute costs, reduce energy use, and make AI more affordable
  4. DEV Community Lire →

    Technical teardown naming the custom kernel stack and flagging that deterministic sampling is Nvidia-only in this release, a gap Ascend users must resolve.

    DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services.

Shared on Bluesky by 2 AI experts

Article original publié par github.com

Lire l'article original →

Titre original : DeepSeek open-source DeepInfer, le moteur d'inférence Apache 2.0 qui fait tourner ses modèles en prod