openai.com détecté sur le web

Pachocki (OpenAI) : la perplexité comme plafond commun des labos

OpenAI Safety ai-research ai-safety

TL;DR

  • Jakub Pachocki, chief scientist d'OpenAI, propose la perplexité comme métrique partagée entre labos et veut y adosser des plafonds que personne ne franchirait.
  • Les modèles OpenAI sont passés d'une log-perplexité d'environ 0,99 (GPT-3.5) à ~0,91 (GPT-4), puis sous 0,8 aujourd'hui.
  • Pachocki prévient qu'une « avalanche » d'avancées fondamentales de préentraînement pourrait survenir dès 2027.

« As soon as 2027 we could conceivably see a similar avalanche of fundamental pretraining advancements », écrit Jakub Pachocki, chief scientist d'OpenAI, dans un essai publié sur openai.com. Il propose d'y répondre par une métrique partagée entre labos frontières : la perplexité, autrement dit la cross-entropy loss, assortie de plafonds que personne ne franchirait sans avoir atteint des étapes de sécurité concrètes.

Pachocki livre les chiffres d'OpenAI. GPT-3.5 affichait une log-perplexité d'environ 0,99 sur leur dataset d'évaluation principal, « capable of fluent conversation and formed the basis for the original ChatGPT ». GPT-4, à ~0,91, maîtrisait le chain-of-thought. « Now, as we have reached losses below 0.8, we have seen the emergence of transformative capabilities in fields like cybersecurity and mathematics », poursuit-il. Il extrapole : la fenêtre ~0,68 à 0,7 de log-perplexité serait le prochain palier de capacités transformatives.

La proposition qui suit est explicite. « I further propose common limits, based on perplexity and other measurements, that developers are committed to not crossing until our ability to understand and monitor AI behavior achieves a certain concrete milestone (such as the development of a successor to CoT monitors). » Un moratoire conditionnel, indexé sur un nombre et sur l'apparition d'un successeur aux CoT monitors.

L'essai arrive dans un flux dense, avec 261 alertes OpenAI sur nos 90 derniers jours, et dans une semaine où les labos cartographient explicitement la suite, de la nomination d'un philosophe maison chez DeepMind aux quatre voies vers la superintelligence décrites quelques jours plus tôt. Pachocki ne précise ni quels labos auraient accepté de signer de telles limites, ni qui auditerait la perplexité entre maisons dont les datasets d'évaluation divergent.