WikiTrace relie chaque leçon d'agent LLM à sa trajectoire source

Les auteurs de WikiTrace documentent une statistique brute : 52% des échecs d'agents LLM à mémoire remontent à un item mémoriel que l'agent a suivi, le plus souvent incorrect. Le papier publié sur Hugging Face le 11 novembre analyse ce qu'il appelle la "memory-induced degradation", soit le cas où "an agent fails on tasks it would solve without memory".

Le remède proposé : organiser la mémoire en trois couches liées. Un insight concis ("what to do"), relié à une compilation qui "summarizes why its trajectory succeeded or failed", elle-même reliée à la trajectoire brute complète. L'agent démarre sur les insights et descend ensuite via ces liens pour combler un manque de détail, résoudre un conflit entre insights, ou tester un insight issu d'une tâche échouée.

Sur cinq benchmarks couvrant huit suites (ALFWorld, ScienceWorld, PlanCraft, AppWorld, τ³-bench Retail), la précision moyenne passe de 79,5 points sans mémoire à 90,2 avec WikiTrace. Le gain atteint 3,2 points face à une variante Insights Only qui partage les mêmes insights sans accès aux sources. Le taux de régression, soit les succès que la mémoire transforme en échecs, tombe à 4,5%, contre 6,5% pour Insights Only et 9,7% pour la relance sans mémoire.

Un détail compte : la descente sert surtout après un blocage. Les descentes déclenchées par un plan bloqué ou une observation qui met le plan en échec représentent 36% des cas et "lead Insights Only by 10.4 points".

Côté coût, le papier chiffre : "WikiTrace costs 1.17 times as much per task as Insights Only, averaged across suites, while improving average performance by 3.2 points." Les auteurs posent une limite nette sur le passage à l'échelle : le prompt grossit avec la mémoire, et une mémoire trop grande pour tenir entièrement poserait un problème de récupération qu'ils laissent ouvert. Le code accompagne le papier sur GitHub, et le travail s'ajoute aux 244 histoires d'agents que nous avons tracées ces 90 derniers jours.