KnowAct-GUIClaw revendique 64,1 % sur MobileWorld GUI-Only

Le papier KnowAct-GUIClaw, signé par la Lychee Team du Harbin Institute of Technology (Shenzhen), revendique 64,1 % de taux de réussite pass@1 sur le sous-ensemble GUI-Only du benchmark MobileWorld, soit 117 tâches longues sélectionnées sur 201, réparties sur 20 applications. Dans la même table de comparaison, cette configuration à base de Kimi-K2.6 passe devant Seed-2.0-Pro (63,2 %) et GPT-5.5 (62,4 %).

L'architecture décrite ne repose pas sur un modèle GUI monolithique. Le système est structuré en boucle Know-Route-Act-Reflect : un agent hôte planifie et route les sous-tâches, un exécuteur GUI léger clique, saisit et lit l'écran, puis une passe de réflexion distille les trajectoires en une mémoire d'expérience et une bibliothèque de compétences paramétrées. Les auteurs affirment que ces artefacts se transportent entre familles de modèles : appliqués au petit Qwen3.5-35B-A3B, ils font passer sa réussite pass@1 de 24,8 % à 41,0 %, un gain de 16,2 points ; sur Kimi-K2.6, le gain est de 8,5 points, de 55,6 % à 64,1 %.

En sortant du terrain Android, le cadre garde une part de son avantage. Sur les tâches croisées, KnowAct-GUIClaw résout 48/63 tâches HarmonyOS (76,2 %) et 21/30 tâches Windows (70,0 %). Le code et les journaux d'expérience sont publiés sur GitHub, ce qui rend au moins la partie logicielle vérifiable de façon indépendante.

La lecture prudente reste de mise. Toutes les lignes KnowAct-GUIClaw du tableau MobileWorld sont, par construction, des runs des auteurs eux-mêmes ; l'évaluation d'AndroidDaily se fait sur appareils iOS et fait appel à un juge LLM (qwen3.5-flash) plus deux experts humains pour noter les tâches qui exigent une réponse explicite. Ce que le rapport ne détaille pas : le coût par tâche face à GPT-5.5, ni si la transférabilité mémoire-compétences fonctionne au-delà du sens Kimi vers Qwen que les auteurs testent.

À suivre pour toute équipe qui bâtit un assistant mobile ou desktop autour de modèles ouverts : la promesse, si elle tient hors banc d'essai, c'est un chemin où l'assistant apprend réellement de ses trajectoires plutôt que de repartir de zéro à chaque nouvelle tâche.