Amazon qualifie les métriques tokens IA de « deeply flawed »

Dans une note interne diffusée en septembre et publiée mardi sur son site, Amazon demande à ses ingénieurs d'arrêter le « tokenmaxxing » et qualifie trois indicateurs comme « deeply flawed » pour mesurer l'usage de l'IA par les équipes : tokens consommés, taux d'adoption des outils IA, et volume de code modifié ou revu, selon CNBC. Ces mesures, précise le groupe, peuvent accroître les coûts et la complexité.

Le document révise la définition du rôle des software development engineers et de leurs managers à l'ère du « Renaissance Developer », décrite comme une période où « human judgment and machine intelligence combine » pour livrer plus vite. La consigne de fond, posée par la note : « We believe that it is best to measure, and be measured by, long-term outcomes. »

La note déculpabilise aussi les ingénieurs qui n'y trouvent pas leur compte. « If your work does not benefit from current AI tooling, that is a finding, not a failing », indique le texte, qui conclut : « An engineer who can explain where AI does not yet help their work is demonstrating the judgement we are asking for. »

Le ton n'a rien de théorique. L'alerte s'ajoute aux 39 histoires Amazon suivies par notre tracker sur les 90 derniers jours. Et en mai, le groupe avait fermé un classement interne après avoir constaté que des employés le gonflaient en consommant toujours plus de tokens pour grimper au classement.