Youtu-Parsing-Omni : parser 5B omni-modal à 96,96 OmniDocBench

Youtu-Parsing-Omni annonce 96,96 Overall sur OmniDocBench v1.6 avec un seul checkpoint de 5 milliards de paramètres, et prend la tête des modèles à poids ouverts sur OmniParsingBench avec 75,08 de moyenne. L'article arXiv décrit un parser qui ingère documents, images, audio et vidéo pour produire des enregistrements « grounded in space and time », pensés comme couche de perception pour « agents that read, locate, and cite evidence across modalities ».

L'architecture tient en une formule du papier : « one encoder for every modality and one schema for every task ». Youtu-Omni-Encoder est initialisé depuis un modèle de langage pré-entraîné, pour renforcer la lecture de texte, puis encode toutes les modalités à poids partagés dans un système de coordonnées espace-temps unifié. Quelques couches de fusion laissent « video frames attend to concurrent audio », remontant l'alignement temporel au niveau de la perception plutôt que d'un post-traitement.

OmniSchema unifie les sorties de dix tâches de parsing, ce qui autorise une procédure de post-training unique baptisée OSAD (OmniSchema-Aware On-Policy Distillation). Le modèle est entraîné sur ses propres rollouts contre des cibles token-level issues d'une copie référence conditionnée, rafraîchie à chaque tour avec les poids entraînés, de sorte que « the parser and its supervision co-evolve ». Même checkpoint, en passant : meilleur score chart-parsing (95,02), plus haut accord exact d'empreinte chimique parmi les systèmes comparés, et égalité avec un modèle dédié d'optical-music sur la transcription caractère par caractère de partitions typographiées.

« Code and model weights are publicly available », conclut l'abstract, qui situe explicitement l'avantage « on audio and video ». La publication rejoint le flux open source que nous suivons, où 159 autres sorties ont été recensées sur les 90 derniers jours.