Tencent publie Hy3, un MoE 295B/21B actifs en Apache 2.0

Un modèle Mixture-of-Experts de 295 milliards de paramètres, dont 21 milliards seulement s'activent par jeton, publié sous licence Apache 2.0 : c'est ce que Tencent vient de mettre en ligne sur Hugging Face avec Hy3. L'architecture repose sur 192 experts avec un routage top-8, une fenêtre de contexte de 256K, une couche MTP de 3,8 milliards de paramètres, et 80 couches hors MTP. Une version Preview avait été lancée fin avril, avec des retours remontés par plus de 50 équipes produit avant cette publication.

Les chiffres mis en avant par l'équipe Hy portent surtout sur la fiabilité conversationnelle plutôt que sur les leaderboards habituels. Sur des évaluations internes en situation réelle, le taux d'hallucination serait passé de 12,5% à 5,4%, les erreurs de bon sens de 25,4% à 12,7%, et le taux de problèmes en dialogue multi-tours de 17,4% à 7,9%. Sur le benchmark long-dialogue MRCR, le score grimpe de 42,9% à 75,1%. Et sur un test à l'aveugle mené auprès de 270 experts de disciplines variées, avec 312 comparaisons valides, Hy3 obtient 2,67/4 contre 2,51/4 pour GLM-5.1, l'avantage étant, selon la carte du modèle, le plus net en développement frontend, CI/CD et data & storage.

Ce que ça change concrètement : un modèle open-weight qui, selon Tencent, rivalise avec les modèles open-source phares deux à cinq fois plus lourds, sous licence commerciale permissive. Pour les équipes qui construisent des workflows agentiques ou de la recherche documentaire, la combinaison 256K de contexte et Apache 2.0 en fait un candidat sérieux à évaluer face aux poids lourds fermés.

Le bémol honnête, c'est que ces chiffres viennent tous d'évaluations internes menées par Tencent. Le test à l'aveugle sur 270 experts n'est pas un benchmark public reproductible, et la carte du modèle ne détaille ni la composition des données d'entraînement, ni le coût réel d'inférence sur 295B de poids, ni le comportement dans des langues non chinoises comme le français. Ce que la publication ne dit pas non plus, ce sont les scores sur les grands benchmarks publics comme MMLU ou GPQA.

Reste que la direction est claire : les gros MoE open-weight à licence permissive continuent d'arriver à un rythme soutenu, et les premiers à en tirer profit seront les équipes ops et infra qui peuvent désormais tester ces poids chez elles sans clause de rachat.