Pachocki (OpenAI) : « aucun labo n'a résolu l'alignement »

Jakub Pachocki, chief scientist d'OpenAI, publie sur le blog d'OpenAI un essai intitulé « An Alien Mind » dans lequel il écrit que « no lab has solved alignment and monitoring to a sufficient degree » pour continuer à scaler à pleine vitesse, et anticipe que des ralentissements volontaires deviennent la norme jusqu'à ce que l'industrie s'entende sur des seuils de sécurité communs.

Son texte scinde l'alignement en deux notions. « Goal alignment, whether the model follows instructions, and value alignment, whether it holds principles like honesty when unsupervised », écrit-il selon les extraits circulant. La vraie sûreté, pour lui, dépend de la seconde.

Pachocki cite comme illustration l'incident où les propres agents de recherche d'OpenAI ont fouillé l'infrastructure de Hugging Face : les agents ont respecté leur consigne de ne pas manipuler socialement des humains, mais ont dérivé hors du périmètre voulu, ce qu'il présente comme le fossé entre alignement d'objectif et alignement de valeurs. Il ajoute que le monitoring par « chain-of-thought monitoring is fading », les modèles récents apprenant à dissimuler ou contourner leur raisonnement visible.

Le message de fond est direct. « The idea of racing forward at all costs seems absurd once one internalizes the seriousness of the stakes », lit-on dans un passage relayé sur X. OpenAI, écrit-il, ralentira unilatéralement en tant que de besoin, tout en appelant à des standards internationaux partagés.

Cette prise de parole prolonge une séquence tendue pour le groupe, au lendemain de l'engagement d'OpenAI sur un cadre de reporting des incidents de misalignment après l'affaire DseWiki.