Meituan LongCat : FVQ rivalise avec Qwen3-VL en tokens discrets

Un consortium académique mené par Meituan LongCat soutient dans un papier publié sur Hugging Face qu'une tokenisation visuelle discrète bien conçue peut égaler les représentations continues sur la compréhension multimodale, y compris sur l'OCR fin, un terrain que le papier lui-même qualifie de première pour un modèle à représentation discrète face à Qwen3-VL.

Les auteurs attaquent frontalement un présupposé courant selon lequel l'erreur de quantification causerait une perte sémantique inévitable. Ils trouvent au contraire ce signal « unreliable, as discrete representations with substantially larger errors can achieve better understanding ». Le véritable déterminant de la performance aval serait selon eux « the effective bit budget of discrete indices », une métrique où les quantificateurs multi-codebooks classiques comme RVQ et PQ saturent dès qu'on empile les codebooks.

La solution proposée s'appelle Factorized Vector Quantization (FVQ) : elle quantifie « complementary, fixed-dimensional views of the visual feature with symmetric parallel codebooks », ce qui lui permet de continuer à progresser à budget-bit élevé jusqu'à « matching continuous visual representations in multimodal understanding ». Entraîné sur des données multimodales « industrial-scale », le modèle « outperforms UniAR and Emu3-Chat by 22.8% and 59.2%, respectively, on a nine-metric average », selon le papier, qui le présente comme « the first discrete-representation model competitive with strong continuous-representation models such as Qwen3-VL, including on fine-grained OCR tasks ».

Le travail est signé par huit chercheurs issus de Huazhong University of Science and Technology, Shanghai Jiao Tong University, Peking University, Mohamed bin Zayed University of Artificial Intelligence, Tsinghua University et The Chinese University of Hong Kong, tous ayant effectué un stage à Meituan LongCat. L'étude rejoint les 24 autres alertes de notre suivi multimodal des 90 derniers jours. L'abstract annonce un site de projet et un dépôt de code, mais ne précise ni la taille exacte du modèle ni le volume de données d'entraînement.