Google publie StreamVibe, agents vidéo à intention évolutive

Google met en ligne StreamVibe, un trio composé d'un benchmark, d'un modèle vision-langage et d'un harnais mémoire conçu pour des agents vidéo capables de lire une intention utilisateur implicite et évolutive. Le papier déposé sur Hugging Face part d'un constat simple : les modèles actuels attendent une requête explicite et peinent à mettre à jour leur compréhension quand l'intention bouge en cours de session.

L'exemple canonique des auteurs est volontairement banal, "where should I click next?" pendant une navigation web. C'est précisément là que la plupart des assistants vidéo décrochent, l'utilisateur n'ayant jamais formulé la question. Le benchmark StreamVibe-Bench rassemble 4,1 K échantillons d'évaluation et 85 K d'entraînement, répartis sur trois régimes d'intention : explicite, implicite et dynamique.

Côté résultats, StreamVibe-VL affiche un gain de 10,7 % sur le timing et la qualité des réponses face aux baselines. Le harnais StreamVibe-Harness ajoute 12,3 % en interaction proactive, un gain qui tient à une mémoire hiérarchique conservant intentions et état d'environnement comme des "persistent states with flexible lifecycles". L'équipe (signée notamment Chengzhi Liu, Yale Song, Songyou Peng et Jui-Hsin Lai) ajoute que le modèle "preserves strong general video understanding" malgré la spécialisation proactive.

L'abstract n'indique ni licence envisagée, ni disponibilité publique du code et des poids. C'est le 25e papier multimodal passé par notre fil éditorial sur 90 jours, dans un flux où les agents dominent largement.