Nvidia publie Nemotron 3.5 Bolt 74B-A9B compressé en 24 Go pour accompagner le lancement des RTX Spark
Résumé
Nemotron 3.5 Bolt 74B-A9B est un MoE hybride Mamba-Transformer compressé depuis le Super VL 120B via Star Elastic et quantifié à 2,0625 bits en IQ2_XXS, pour tenir dans 24 Go. Avec le drafter LiLiCorr, il atteint 84 TPS sur AIPerf SPEED-Bench, se classe premier sur PinchBench et accompagne la mise en vente des laptops RTX Spark le 16 octobre.
Article original publié par research.nvidia.com
Lire l'article original →Titre original : Nvidia publie Nemotron 3.5 Bolt 74B-A9B compressé en 24 Go pour accompagner le lancement des RTX Spark