interconnects.ai via Hacker News

Nathan Lambert juge la démission Coxon coordonnée avec le WSJ

Anthropic Safety AI Ethics ai-business

TL;DR

  • Lambert (Interconnects) soutient que la démission de Jacob Coxon d'Anthropic a été précédée d'une exclusivité coordonnée au Wall Street Journal.
  • Il juge la probabilité d'extinction complète 'so low it isn't worth discussing', tout en actant des risques cyber et biorisques concrets.
  • Il oppose à l'auto-amélioration récursive un modèle 'Lossy self-improvement' et appelle à s'appuyer sur 'rule of law and science'.

Dans un billet publié le 10 septembre sur Interconnects intitulé "One resignation turned the embers of AI fear into a wildfire", Nathan Lambert soutient que la démission de Jacob Coxon d'Anthropic a été mise en scène plus qu'elle n'a jailli. "The Wall Street Journal had an exclusive story that Jacob coordinated before posting", écrit-il, en ajoutant soupçonner que Coxon avait "shared his plan of quitting in groupchats with AI safety advocacy groups ahead of time".

Lambert prend soin de séparer l'intention du dispositif. Il décrit Coxon comme quelqu'un qui "is acting genuinely and with good intentions", et note le soutien de chercheurs plus établis. Mais sur le fond du message existentiel, il tranche : "I put the probability of complete extinction as being so low it isn't worth discussing." Les risques qui l'inquiètent sont ceux, plus concrets, des attaques cyber et des biorisques, et découlent selon lui d'un durcissement de sécurité insuffisant chez les labos.

Sur le mécanisme invoqué par les alarmistes, l'auto-amélioration récursive, Lambert avance un contre-modèle qu'il baptise "Lossy self-improvement" : "AI has always been very jagged, and we are making models which are superhuman goal-seekers at math and software engineering", écrit-il. Autrement dit, des gains verticaux réels sur des tâches précises, pas la boucle explosive fantasmée.

L'essayiste réserve son passage le plus tranchant à la culture interne des laboratoires. "People at the labs operate with a religious energy. It's very common to go through very out of touch interactions with them", écrit-il, avant d'appeler à un rééquilibrage : "we need to rely on the rule of law and science. If the AI labs are not able to do enough safety research themselves to understand the models, they should be more transparent."

Le texte paraît la même semaine que le threat report d'Anthropic documentant espionnage russe et plots bio-armes, précisément le type de risque tangible que Lambert veut voir occuper le débat.

Shared on Bluesky by 1 AI expert