METR : Anthropic caviarde la majorité des preuves R&D clés

L'évaluation indépendante que METR a publiée le 5 novembre sur l'accélération interne de la R&D d'Anthropic s'ouvre sur un avertissement sans ambiguïté : « Anthropic redacted a majority of the evidence we found most informative. As a consequence, the public must rely on our judgment more than we consider ideal. » La phrase est reprise mot pour mot par Techmeme.

Signé Tom Cunningham, Nate Rush, Parker Whitfill et Hjalmar Wijk, et couvrant la période du 12 août au 29 octobre 2026, le rapport chiffre à 1,9x l'accélération des capacités d'Anthropic depuis octobre 2025, avec un intervalle de confiance à 95 % allant de 1,5x à 2,8x. METR attribue « a majority (perhaps ≈80%) of the current (October 2026) acceleration » à l'IA elle-même, en reconnaissant une « substantial uncertainty ». L'ONG écrit en revanche être « confident that the acceleration was not due to an acceleration in training compute ».

Les passages noircis, selon METR, portaient sur des estimations détaillées par étape du pipeline R&D, une décomposition des progrès par compute, données et algorithmes, des prévisions de modèles futurs et l'analyse des goulots d'étranglement. Anthropic décrit ses caviardages comme « aimed at removing confidential information that could accelerate other AI developers ».

Sur Model 4, testé en octobre, le rapport mentionne un score supérieur à 50 % sur l'ensemble des benchmarks AECI et un gain de productivité auto-déclaré par les employés atteignant environ 12x. Les entretiens de chercheurs internes sont nettement plus flous : deux répondent « oui » à une accélération supérieure à 2x, trois « penche vers oui », quatre « limite / incertain », deux « non ». C'est le troisième dossier Anthropic qui remonte dans notre fil cette semaine, après la fuite d'email dans Claude Code et deux CVE Xen créditées à Claude.