JD publie JoyAI-Video-Edit : 720p à 30 FPS sur un Nvidia B200

Un modèle de 16 milliards de paramètres qui édite de la vidéo en 720p à environ trente images par seconde, sur un seul GPU, en flux continu et sans accès aux images futures : c'est la promesse de JoyAI-Video-Edit, publié par Joy Future Academy (JD) et détaillé sur Hugging Face. Le code est disponible sur GitHub.

L'intérêt tient moins à la taille qu'à l'architecture. Les auteurs partent d'un éditeur bidirectionnel puis le convertissent en éditeur causal par chunks de huit images, avec attention bidirectionnelle à l'intérieur d'un chunk et causale entre les chunks. Ils y ajoutent deux mécanismes : Source-Anchored Distribution Matching Distillation, qui distille la diffusion itérative en un générateur à deux étapes tout en ancrant l'enseignant sur le chunk source aligné, et Long-Horizon Autoregressive Distillation, qui supervise directement les états dégradés par l'accumulation d'erreurs sur des rollouts longs. Selon le rapport, SA-DMD fait passer le score « global style » de 3,61 à 4,24 et « local change » de 3,43 à 4,00 ; activer les deux stratégies porte le score global à 3,30.

Le budget temps réel tient sur un seul Nvidia B200 : 22 ms pour l'encodage VAE, 185 ms pour le débruitage DiT, 19 ms pour le décodage, plus 31 ms de construction du cache KV et 9 ms de pseudo encoding, soit un cycle complet de 266 ms équivalent à 30,1 FPS. Quantification FP8, fusion d'opérateurs, compilation de graphes et fenêtre KV bornée font la différence.

Pour évaluer la tenue sur des flux longs, l'équipe construit également LongV2VBench, un benchmark d'une minute comprenant 229 tâches réparties sur cinq catégories : changement de fond, style global, ajout local, modification locale et suppression locale. Les auteurs affirment y surpasser les éditeurs streaming existants tout en restant compétitifs face à des systèmes offline forts, sur vidéos courtes comme longues.

Le caveat honnête est que les chiffres viennent d'une évaluation maison, que le matériel de référence reste un B200 rarement accessible, et que le rapport ne dit rien du coût d'entraînement, de la licence du code, ni du comportement au-delà du 720p ou face aux grands systèmes propriétaires. Pour les studios broadcast, les plateformes sociales et les outils de communication vidéo, l'ouverture d'un modèle streaming instructif à ce niveau de latence reste un jalon utile, prêt à être intégré aujourd'hui plutôt que dans un futur produit fermé.