Motif Technologies publie Motif-3-Beta : MoE 314B open-weight avec 256K de contexte et attention GDLA maison
Résumé
Motif Technologies, spin-off coréen de Moreh sélectionné en février dans le programme souverain sud-coréen, a mis en ligne Motif-3-Beta sur Hugging Face : Mixture-of-Experts de 314 milliards de paramètres (13 Md actifs), 384 experts avec top-8 + 1 partagé, contexte natif de 256K tokens, entièrement conçu from-scratch avec composants maison Grouped Differential Latent Attention et Grouped PolyNorm. Le checkpoint atteint 44 sur l'Artificial Analysis Intelligence Index et est diffusé sous licence non commerciale, un préversion avant la finale.
Shared on Bluesky by 2 AI experts
-
Tim Kellogg @timkellogg.me
Korean lab, Motif, releases a 341B model that performs on par with DSv4 (1.6T) they have some actual architectural innovations and a detailed tech report huggingface.co/Motif-Techno...
View on Bluesky →
Article original publié par huggingface.co
Lire l'article original →Titre original : Motif Technologies publie Motif-3-Beta : MoE 314B open-weight avec 256K de contexte et attention GDLA maison