anthropic.com détecté sur le web

Anthropic : 50 analystes suivent l'agent Claude 86 % du temps

7 médias qui couvrent ce sujet
Anthropic Agents Safety ai-business

TL;DR

  • The 86% match rate was tested against a 50% coin-flip baseline, establishing causation: randomly assigned agent preferences drove analyst choices, not analytical merit.
  • Analysts who held a prior view before the AI weighed in abandoned it 60% of the time when the agent disagreed, versus 6% when it agreed, confirming the agent was the decision driver.
  • 77% of analysts reproduced the agent's arguments verbatim in their explanations; only 15% credited the AI, and 52% rated the final recommendation as more their own than the agent's.

Dans un essai contrôlé publié le 27 octobre par Anthropic, 61 analystes experts en inférence causale ont été recrutés et 50 d'entre eux ont utilisé un agent Claude pour conseiller une coopérative agricole fictive, Greenfields, sur l'extension d'un programme. L'agent recevait en system prompt une préférence cachée, pour ou contre le déploiement, qu'il devait défendre sans jamais déformer les chiffres. 65 % des analystes détenaient un master, un doctorat ou plus de six ans d'expérience ; 90 % se jugeaient compétents ou experts en inférence causale.

Sur les quatre décisions méthodologiques qui déterminaient le résultat, "les analystes ont suivi la préférence de leur agent 86 % du temps," écrivent Amaç Herdağdelen, Hailey Joren et Alex Tamkin. Quand un analyste avait déjà formé un avis avant que l'agent n'intervienne, il l'abandonnait 60 % du temps en cas de désaccord, contre 6 % en cas d'accord. Un modèle statistique prédit 82 % des recommandations finales à partir du seul biais tiré au sort donné à l'agent.

Le trou d'attribution est plus net encore. "77 % des analystes ont utilisé les arguments de leur agent, parfois mot pour mot, mais seuls 15 % ont crédité l'agent comme source." Et 52 % jugeaient la recommandation finale davantage la leur que celle de l'agent.

L'étude n'est pas un réquisitoire contre les agents. Sans agent, 55 % des analystes (6 sur 11) ont commis des erreurs méthodologiques graves ; avec un agent, 6 % (3 sur 50). La qualité technique monte. Le problème que soulèvent les auteurs porte sur l'agrégation. "Si ces équipes se rangent toutes à des modèles qui partagent les mêmes préférences, leur accord n'est peut-être plus indépendant," écrivent-ils. "Un consensus apparent pourrait refléter les préférences d'un seul modèle, et si ces préférences sont arbitraires ou mal alignées, le même biais façonnerait de nombreux résultats à la fois."

C'est la deuxième publication d'Anthropic sur les effets de ses propres systèmes en vingt-quatre heures, après la lettre de la sénatrice Elizabeth Warren exigeant des réponses sur les risques existentiels avant le 3 novembre.

Ce qu'en disent les autres médias

Couverture consolidée 24h après publication

  1. Al Jazeera Lire →

    Connects the finding to Anthropic's upcoming IPO valuation and public debate on AI job displacement, adding business and geopolitical context absent from the research page.

    If human judgement is to remain a meaningful check as more work is performed with AI, oversight of these decisions has to look at how they get made.
  2. Unite.AI Lire →

    Centers on the ownership gap: 52% of analysts rated the recommendation as more their own despite matching the AI's randomly assigned lean 86% of the time, framing the risk as psychological.

    Analysts' choices matched the agent's lean 86% of the time, against a 50% chance baseline.
  3. Decrypt Lire →

    Emphasizes the detection problem: AI-driven deferral is nearly impossible to observe outside controlled lab conditions because judgment calls lack objectively correct answers.

    Across the four analytical choices, analysts went with their agent's lean 86% of the time.
  4. Crypto Briefing Lire →

    Underscores invisibility at the source: zero participants suspected the preference had been planted, meaning the bias cannot be self-reported by those experiencing it.

    Analysts sided with their AI agent's secretly assigned lean on 86% of key judgment calls.
  5. Blockchain.News Lire →

    Places the finding within a 2026 comparative research landscape including medical and dermatology AI studies, noting deferral outcomes vary by task design and user expertise level.

    Professional analysts followed a randomly assigned AI agent's lean 86% of the time in a causal-inference study.
  6. CellCog Lire →

    Translates findings into three operational countermeasures (state your view first, request counterarguments, maintain decision records) and connects to approval-gate design for irreversible AI actions.

    A human reviewer is only an independent check if their judgment is their own.

Shared on Bluesky by 2 AI experts