Meta FAIR et NYU : encodeur vision from scratch égale pré-entraîné

Un encodeur vision entraîné conjointement avec le backbone, sans phase de pré-entraînement séparée, égale un encodeur pré-entraîné à compute équivalent. C'est le résultat central de « Unbundling Multimodal Vision Encoding », papier de Meta FAIR et New York University mis en ligne vendredi sur Hugging Face.

Les auteurs, parmi lesquels Hu Xu (Meta FAIR) et Saining Xie (NYU), isolent trois choix de design regroupés par les encodeurs vision classiques : un *visual prior* issu d'un pré-entraînement amont, une capacité dédiée à la vision, et le placement de cette capacité avant la fusion multimodale. En contrôlant données, architecture et compute, ils mesurent l'effet de chaque choix séparément.

Le visual prior n'est pas nécessaire : « an encoder trained jointly from scratch is on par with a pretrained one, without a separate training stage », écrit le papier. Ce qui compte, c'est la capacité dédiée. Un modèle sans encodeur reste à la traîne sur la compréhension visuelle, « even when its backbone is enlarged by the encoder's parameter count ».

Mais cette capacité n'a pas besoin de précéder la fusion. Des modules vision-only injectés dans les premières couches du backbone, approche qualifiée d'*in-fusion*, « perform comparably to a pre-fusion encoder and can lower time to first token ». Au benchmark VQA moyen à 1,7 milliard de paramètres, l'encodeur from scratch atteint 44,4 %, l'approche in-fusion environ 44 %, contre 39 % pour un modèle sans capacité vision dédiée. L'écart avec le modèle sans encodeur tient sur toute l'échelle testée, de 0,6 à 6,4 milliards de paramètres, où ce dernier requiert environ trois fois plus de compute pour rattraper. Le papier conclut que « our findings favor dedicated vision capacity trained jointly with the backbone and placed early within it ».