Xing 4 (TeleChat) : MoE 285B entraîné sur 8 192 Ascend 910C, pipeline parallelism éliminé pour +16,1 % de débit
Résumé
TeleChat détaille Xing 4, une famille de modèles agentiques entraînés sur NPU Ascend 910C de Huawei avec MindSpore. Le papier annonce un MoE 285B total / 17B actifs à contexte 1 M tokens entraîné sur 8 192 cartes 910C, une élimination complète du pipeline parallelism via HSDP (+16,1 % de débit), un speedup prefill 4,68× et decoding 2,67–3,77× ; un modèle Xing4.0-29B-A4B est ouvert. Preuve supplémentaire que la Chine industrialise la frontière IA hors GPU Nvidia.
Article original publié par huggingface.co
Lire l'article original →Titre original : Xing 4 (TeleChat) : MoE 285B entraîné sur 8 192 Ascend 910C, pipeline parallelism éliminé pour +16,1 % de débit