NVIDIA lance Audex-30B, un LLM audio-texte sans régression

Ce qui retient l'attention dans la dernière sortie de NVIDIA, ce n'est pas un nouveau record de raisonnement, c'est ce que le modèle ne perd pas. Le groupe présente Nemotron-Labs-Audex-30B-A3B, un modèle unifié audio-texte construit sur le backbone Nemotron-Cascade-2-30B-A3B, selon le papier publié sur Hugging Face.

L'architecture tient dans un seul Transformer décodeur. Les entrées audio sont encodées puis projetées dans l'espace d'embedding texte, et les tokens audio quantifiés en sortie sont traités uniformément avec les tokens texte pendant la génération. L'entraînement combine 157,4 milliards de tokens audio et 320,5 milliards de tokens texte, à travers un pipeline en trois temps: supervision multi-étapes sur des jeux audio-texte curés, Cascade RL en texte seul, puis distillation on-policy multi-domaine.

Pourquoi cela compte pour qui construit des produits vocaux: la plupart des stacks aujourd'hui superposent un ASR, un LLM texte et un TTS, avec toute la fusion et la friction que cela implique. Un backbone unique qui prétend faire les trois sans dégrader la couche raisonnement change l'équation d'ingénierie, à condition que la promesse tienne. Les auteurs revendiquent l'état de l'art en compréhension audio, en reconnaissance et traduction de la parole, en TTS, en génération audio et en speech-to-speech, avec zéro régression sur le raisonnement, l'alignement, la connaissance, le long contexte et l'agentique.

Le caveat honnête est le classique du domaine. Ces revendications sont auto-rapportées, et le résumé public ne détaille ni scores précis, ni jeux d'évaluation, ni comparaisons chiffrées avec les modèles concurrents. Rien n'indique non plus la latence à laquelle tourne le speech-to-speech, ni la couverture linguistique au-delà de l'anglais, ni le coût de reproduction du pipeline de distillation on-policy pour les labos plus petits.

Le côté prometteur, c'est le petit frère annoncé, Nemotron-Labs-Audex-2B, qui rend la même approche accessible à des équipes sans budget d'inférence 30B. Si des benchmarks indépendants confirment la promesse, l'arbitrage historique entre intelligence texte et modalité audio devient beaucoup moins tranché.