Gemma 4 : famille open-weight de 2,3B à 31B avec mode raisonnement

L'axe intéressant du rapport technique publié sur arXiv par le Gemma Team n'est pas la taille des modèles, c'est ce qui a été glissé dans une famille open-weight. Gemma 4 couvre 2,3 à 31 milliards de paramètres, en variantes denses et Mixture-of-Experts, et embarque un « thinking mode » qui, selon les auteurs, laisse les modèles produire des traces de raisonnement avant leur réponse.

Le vrai basculement se trouve dans le 12B. Le rapport décrit une architecture unifiée sans encodeur, qui ingère directement les patches d'image et l'audio brut au lieu de passer par des encodeurs séparés. Si la promesse tient, cela rend le multimodal beaucoup plus proche du texte du point de vue d'un développeur : un pipeline à opérer, pas trois modules à orchestrer.

Pourquoi ça compte au-delà de l'arXiv : jusqu'ici, le raisonnement explicite intégré et le multimodal natif étaient l'argument commercial des frontières fermées, facturées par appel API. Une famille open-weight qui revendique un saut sur les benchmarks STEM, long contexte et multimodaux, tout en prétendant rivaliser avec des modèles ouverts plus grands sur des tâches évaluées par humains, change le calcul pour les équipes qui pesaient l'auto-hébergement contre une facture d'API croissante.

L'honnête réserve, c'est que le rapport reste un rapport signé par ses auteurs. Les scores exacts contre les modèles fermés récents, le coût réel du mode raisonnement à l'inférence, et la répartition des paramètres actifs des variantes MoE ne sont pas des choses qu'on peut trancher sans reproduction indépendante. Prenez ce qui est revendiqué comme la position d'un fournisseur, pas comme un verdict.

Ce qu'il faut regarder dans les semaines à venir, c'est qui va effectivement porter le 12B multimodal en production et si le mode raisonnement reste soutenable à petite échelle. Si les deux tiennent, l'écart entre ce qu'on peut auto-héberger et ce qu'on doit louer se resserre encore d'un cran.