Capraro : avec l'IA, précision à 9 % mais confiance à 76 %

Il y a un chiffre dans cette étude qui fait plus mal que les autres. Sans IA, 44 % des participants disaient « je ne sais pas ». Avec un assistant à portée de clic, ils n'étaient plus que 3 %. Le doute, cette compétence si difficile à enseigner, a été balayé en une session.

L'expérience, rapportée par The Next Web et reprise par The Register, est signée Valerio Capraro (University of Milano-Bicocca), Chiara Marcoccia (École Normale Supérieure) et Walter Quattrociocchi (Sapienza University of Rome). Les auteurs ont volontairement choisi des questions où les modèles échouent, comme des détails visuels de films (la couleur du maillot d'une équipe dans Bend It Like Beckham), pour isoler la sur-délégation. Résultat : la précision passe de 27 % à 9 %, la confiance déclarée bondit de 30 % à 76 %. Comme le résume Capraro, « people became much worse, the accuracy was only one third, but they were twice as confident ».

Ce que mesure l'étude, au fond, c'est la vitesse à laquelle un utilisateur remplace son propre jugement par celui de la machine, même quand la machine se trompe. Les équipes qui déploient des copilotes en support client, en juridique ou en conformité risquent de récolter des réponses fausses livrées avec deux fois plus d'assurance, ce qui rend les erreurs beaucoup plus difficiles à filtrer en aval. Capraro se dit particulièrement inquiet pour les enfants, qui pourraient ne pas apprendre les compétences critiques de base.

Un point honnête à noter : les auteurs ont sciemment choisi des tâches piégeuses pour l'IA, et le compte-rendu de presse ne détaille ni la taille de l'échantillon ni la durée d'exposition. Point plus troublant, offrir des récompenses financières pour les bonnes réponses n'a que très peu corrigé le biais, la précision ne remontant qu'à 16 % et les aveux d'ignorance à 8 %. Autrement dit, les leviers RH classiques comme les bonus qualité risquent d'être insuffisants pour réveiller la vigilance des utilisateurs.

Ce qui vaudra la peine d'être surveillé, c'est quel éditeur d'assistant sera le premier à traiter le « je ne sais pas » calibré comme une fonctionnalité produit, et non comme un aveu de faiblesse.