Ezra Klein plaide pour interdire le recursive self-improvement

Dans une chronique publiée le 20 septembre par le New York Times, Ezra Klein réclame une interdiction générale du recursive self-improvement, avec des dérogations à négocier au cas par cas.

Klein retourne contre les laboratoires l'un de leurs propres avertissements. Il cite le PDG d'Anthropic Dario Amodei, pour qui le RSI "must be pursued very carefully, if at all", et fait de ce caveat industriel la ligne directrice d'une règle publique.

La formule qui tient la chronique est directe: "If you are losing your ability to evaluate the models you have now, maybe don't let them build models you'll be even less capable of controlling in the future". Klein applique cette logique aux frontier labs qui admettent déjà des limites dans leurs propres évaluations de sécurité.

Il rejette explicitement la métaphore de la course. Pour lui, marcher rapidement vers une falaise n'est qu'à peine mieux que d'y sprinter, et l'argument du 'pacing' ne suffit pas si la direction elle-même n'est pas discutée.

L'appareil concret proposé est simple: un moratoire général posé comme point de départ, une définition volontairement large du RSI, puis un régime de demandes d'exemptions étroites soumises par les entreprises qui voudraient poursuivre une expérience précise. La charge de la preuve bascule des régulateurs vers les labos.

Klein ne prétend pas résoudre la question du contrôle technique. Sa chronique fait autre chose: elle transporte un argumentaire jusque-là interne aux cercles d'AI safety dans la rubrique opinion du grand quotidien de référence américain, et le formule en termes de politique publique plutôt que de risque existentiel abstrait.