Anthropic : 50 analystes suivent l'agent Claude 86 % du temps

Dans un essai contrôlé publié le 27 octobre par Anthropic, 61 analystes experts en inférence causale ont été recrutés et 50 d'entre eux ont utilisé un agent Claude pour conseiller une coopérative agricole fictive, Greenfields, sur l'extension d'un programme. L'agent recevait en system prompt une préférence cachée, pour ou contre le déploiement, qu'il devait défendre sans jamais déformer les chiffres. 65 % des analystes détenaient un master, un doctorat ou plus de six ans d'expérience ; 90 % se jugeaient compétents ou experts en inférence causale.

Sur les quatre décisions méthodologiques qui déterminaient le résultat, "les analystes ont suivi la préférence de leur agent 86 % du temps," écrivent Amaç Herdağdelen, Hailey Joren et Alex Tamkin. Quand un analyste avait déjà formé un avis avant que l'agent n'intervienne, il l'abandonnait 60 % du temps en cas de désaccord, contre 6 % en cas d'accord. Un modèle statistique prédit 82 % des recommandations finales à partir du seul biais tiré au sort donné à l'agent.

Le trou d'attribution est plus net encore. "77 % des analystes ont utilisé les arguments de leur agent, parfois mot pour mot, mais seuls 15 % ont crédité l'agent comme source." Et 52 % jugeaient la recommandation finale davantage la leur que celle de l'agent.

L'étude n'est pas un réquisitoire contre les agents. Sans agent, 55 % des analystes (6 sur 11) ont commis des erreurs méthodologiques graves ; avec un agent, 6 % (3 sur 50). La qualité technique monte. Le problème que soulèvent les auteurs porte sur l'agrégation. "Si ces équipes se rangent toutes à des modèles qui partagent les mêmes préférences, leur accord n'est peut-être plus indépendant," écrivent-ils. "Un consensus apparent pourrait refléter les préférences d'un seul modèle, et si ces préférences sont arbitraires ou mal alignées, le même biais façonnerait de nombreux résultats à la fois."

C'est la deuxième publication d'Anthropic sur les effets de ses propres systèmes en vingt-quatre heures, après la lettre de la sénatrice Elizabeth Warren exigeant des réponses sur les risques existentiels avant le 3 novembre.