huggingface.co détecté sur le web

SenseNova ouvre Loop-9B : 32 couches exécutées 56 fois par passe

TL;DR

  • SenseNova-Loop-9B, ~9 Md de paramètres sous Apache 2.0, exécute 56 fois ses 32 couches décodeur par passe via un bloc partagé B(B(h)).
  • La version finale corrige la preview d'octobre : AutomationBench 14,33→36,67, Terminal-Bench 2.1 40,45→59,55, GAIA 37,86→69,90.
  • La version AWQ 4-bit tient 256K tokens de contexte multimodal dans ~15 GiB de VRAM, visant les GPU 16 Go.

SenseNova a publié ce 17 novembre la version finale de SenseNova-Loop-9B, un modèle multimodal d'environ 9 milliards de paramètres dont le décodeur rejoue ses propres couches : 32 couches distinctes, mais 56 exécutions par passage avant, selon la carte de modèle publiée sur Hugging Face.

Le détail est inhabituel. Les couches 0 à 3 servent de pré-boucle, les couches 28 à 31 de post-boucle, et le bloc central des couches 4 à 27 est partagé puis exécuté deux fois, formulé « B(B(h)) » par les auteurs. Résultat revendiqué par la carte : « 56 layer computations from 32 distinct layers per forward pass ». Les paramètres équivalents à l'inférence atteignent ainsi ~14,6 milliards.

Deuxième brique, un mécanisme baptisé « two-stream mHC » (manifold-constrained hyper-connections) : deux flux résiduels parallèles dont le mélange est contraint par 20 itérations de normalisation Sinkhorn. Le modèle entrelace par ailleurs attention linéaire et pleine selon un motif de quatre couches, « 3 linear-attention layers followed by 1 full-attention layer per group », et tient jusqu'à 512K tokens de contexte.

Côté bancs, la finale corrige nettement la preview publiée le 31 octobre : AutomationBench passe de 14,33 à 36,67, Terminal-Bench 2.1 de 40,45 à 59,55, GAIA de 37,86 à 69,90. Sur AutomationBench, la carte situe le modèle au niveau de Qwen3.8-27B (36,67 contre 36,67), mais sur NL2Repo il reste en retrait (41,36 contre 44,60). SenseNova publie aussi une variante AWQ 4-bit : « 4-bit weights + 8-bit KV cache enable ~15 GiB GPU memory for 256K context multimodal inference », soit un GPU de 16 Go suffisant pour une fenêtre très longue.

Code et poids sortent sous Apache 2.0. La carte liste ses propres limites : suivi d'instructions complexes, tâches d'agent longue durée, génération web demandant plusieurs passes de raffinement. Deuxième release chinoise sous licence permissive ce 17 novembre après Sage S2.1 Flash d'InternLM, et 203e dépêche sur l'IA chinoise que nous suivons sur 90 jours glissants.