Mistral dévoile Large 4 « Le Chonk », MoE multimodal de 1,05 T

Mistral a mis en ligne le 6 octobre la fiche technique de Large 4, baptisé « Le Chonk » : 1,05 trillion de paramètres au total, 52 milliards actifs par pas d'inférence, un encodeur vision de 1,6 milliard et une fenêtre d'un million de tokens, selon la documentation Mistral.

Le modèle est un mixture-of-experts granulaire multimodal, offert d'abord en preview via l'API. La fiche de prix barre 4,18 $ par million de tokens en sortie et 1,36 $ en entrée au profit d'une promotion d'ouverture à 2,09 $ et 0,68 $, l'entrée cachée descendant à 0,07 $. L'artefact publié portera le nom `Mistral-Large-4.0-1T05-A52B`, en open-weight prévu fin octobre.

Côté infrastructure, selon la couverture de kingy.ai, Mistral a entraîné le modèle sur « 3,800 NVIDIA Grace Blackwell GPUs » dans ses centres de données européens, à partir de plus de 10 trillions de tokens texte couvrant plus de 160 langues, dont, précise la recension, « every official EU language ».

Les premiers benchmarks publiés sont contrastés. Sur l'index Vals v2.1 de capacité globale, Large 4 obtient 48,05 %. Sur Harvey Legal Agent, il se classe 6ᵉ sur 75 modèles avec 15,83 %. Sur Finance Agent v2, 54,68 %, soit 1,14 point au-dessus de GPT-6 Astra d'OpenAI. Sur AA-LCR v1.1, long-contexte, 81,3 %.

La fenêtre d'un million de tokens affichée sur la fiche officielle ne fait pas consensus parmi les évaluateurs tiers : Vals mesure 512K, Artificial Analysis et Vercel listent 524K. Mistral ne commente pas publiquement l'écart.

C'est la douzième annonce Mistral que nous avons suivie ces trois derniers mois, après Mistral Small 4 dans Firefox Smart Window en septembre et la sortie d'OeAW Apollo co-signée avec Reply.