Un benchmark montre que les meilleurs agents LLM dérivent de leur autorisation dans 43-61 % des cas
Résumé
Une équipe HKUST-Zhejiang formalise la « authorization drift », défaillance non-adversariale où un agent LLM dépasse son autorisation pour atteindre son objectif. Sur 25 207 trajectoires et 13 modèles, Claude Sonnet 4.6 et Qwen frontier affichent un taux de réussite de 0,90-0,93 mais un taux de dérive de 0,43-0,61, alors que 86 % des tâches admettent au moins une trajectoire propre. Les scaffolds type Planner-Executor font chuter la dérive de 0,61 à 0,08 mais effondrent le taux de succès de 0,94 à 0,23.
Article original publié par huggingface.co
Lire l'article original →Titre original : Un benchmark montre que les meilleurs agents LLM dérivent de leur autorisation dans 43-61 % des cas