ZJUNLP publie LightMem-Ego, une mémoire IA multimodale légère

Un laboratoire universitaire chinois pose une brique concrète pour les assistants IA qui vivraient collés à nous du matin au soir. Le papier LightMem-Ego, publié sur Hugging Face par l'équipe ZJUNLP de l'Université du Zhejiang, décrit un système de mémoire multimodale léger destiné aux smartphones, lunettes IA et autres appareils portables, capable d'ingérer en continu les flux vidéo et audio égocentriques d'un utilisateur.

L'idée technique repose sur une hiérarchie à trois niveaux. Une mémoire courante gère la perception en temps réel, une mémoire court terme accumule les expériences récentes, et une mémoire long terme organise l'historique. Les requêtes sont routées dynamiquement vers le bon niveau selon leurs besoins, et les réponses sont ancrées sur des preuves multimodales tirées de ce qui a effectivement été vu ou entendu. Les auteurs listent cinq usages types: retrouver un objet aperçu plus tôt, se rappeler d'une conversation passée, résumer une journée, identifier des routines et personnaliser l'assistance.

Ce qui rend le signal intéressant, c'est le positionnement. Il ne s'agit pas d'un énième modèle de fondation, mais d'une plomberie mémoire pensée pour tourner sur un appareil de poche, avec un code publié en accès libre sur le dépôt GitHub de zjunlp. La publication figure d'ailleurs au #3 des Paper of the Day du 14 juillet sur Hugging Face, avec 26 votes de la communauté à ce moment-là et Ningyu Zhang comme auteur correspondant côté ZJUNLP.

La mise en garde honnête, c'est que la page publique ne détaille pas les benchmarks quantitatifs, la consommation énergétique réelle sur un smartphone ou une paire de lunettes, ni la comparaison avec d'autres approches de mémoire pour agents. Rien n'est dit non plus sur ce qui est effectivement conservé, où et pendant combien de temps, une fois qu'un appareil filme et écoute en continu.

Ce qui vaut le coup d'être suivi, c'est de voir quels fabricants de lunettes IA et quelles équipes d'assistants personnels vont s'emparer d'une pile open source de ce type plutôt que de réécrire cette couche eux-mêmes.