huggingface.co via Hacker News

Moonshot publie les poids de Kimi K3.1 Pro, MoE 2,8 T avec contexte 1 M et Gated DSA

Résumé

Moonshot met en ligne sur Hugging Face les poids de Kimi K3.1 Pro, un MoE multimodal de 2,8 T paramètres (104 B actifs, 896 experts) avec 93 couches dont 69 KDA et 24 Gated DSA, contexte 1 048 576 tokens et encodeur vision MoonViT-V2. Le modèle revendique 94,2 sur GPQA-Diamond, 70,0 sur HLE-Full avec outils et 79,6 sur OSWorld V2.1, publié sous licence propriétaire Kimi K3.1 Pro mais téléchargeable.

Shared on Bluesky by 2 AI experts