Un développeur réécrit DeepSeek-V3 en 190 lignes de JAX pur, entraîné sur un MacBook Air M5

Vaibhaav Tiwari publie une implémentation complète de l'architecture DeepSeek-V3 (Multi-head Latent Attention, routing DeepSeekMoE, multi-token prediction) en 190 lignes de JAX pur, sans Flax ni PyTorch. La version jouet de 36,2 M paramètres (13,6 M actifs) a été entraînée sur un MacBook Air M5 avec 24 Go de mémoire sur 207 romans policiers du domaine public, atteignant 3,51 de validation loss en 12 000 pas. Les checkpoints et les données sont publiés sous MIT.