techcrunch.com détecté sur le web

OpenAI ouvre un classifier CSAM gratuit, ChatGPT suspend 24 h

TL;DR

  • OpenAI met à disposition gratuitement via API un détecteur d'images CSAM, y compris générées par IA, construit avec le NCMEC et diffusé par Tech Coalition et ROOST.
  • Le modèle signale 48 % d'images en moins tout en détectant autant de contenus abusifs, et ses alertes sont deux fois plus susceptibles d'être authentiques.
  • ChatGPT affiche un écran d'avertissement, suspend le compte 24 heures au premier incident et banni définitivement en cas de récidive.

OpenAI a annoncé le 16 novembre un classifier d'images capable de détecter les contenus pédopornographiques, y compris ceux générés par IA, construit avec le National Center for Missing and Exploited Children (NCMEC) et mis à disposition gratuitement via API à une sélection d'entreprises, rapporte TechCrunch. La diffusion passe par Tech Coalition et ROOST.

Selon la fiche de performance publiée, le modèle « flags 48% fewer images while maintaining detection of the same number of abusive images » ; les images remontées sont par ailleurs décrites comme « twice as likely to be authentic abuse material ». Le classifier attribue un score pour orienter la décision des modérateurs humains.

Dans ChatGPT, les utilisateurs qui tentent d'accéder à du contenu d'exploitation d'enfants voient désormais un écran d'avertissement et sont redirigés vers des services de soutien spécialisés. Un premier incident déclenche une « 24-hour account suspension » ; la récidive entraîne un bannissement définitif.

OpenAI publie en parallèle un guide pour les développeurs afin de prévenir, détecter et signaler les CSAM, et met à disposition des forces de l'ordre des plugins, outils d'investigation, capacités d'analyse et un manuel de terrain. Parmi les collaborateurs cités figurent Protect Children, la Lucy Faithfull Foundation et Joel Scanlan, de l'University of Tasmania, qui a évalué de manière indépendante les tests de messages dissuasifs.

L'annonce s'inscrit dans une séquence « safety » dense pour OpenAI : nous l'avions couverte la veille avec l'ouverture du code d'OpenAI à Apollo, METR, Transluce et Goodfire. L'entreprise fait toujours face à plusieurs plaintes concernant des préjudices causés à des utilisateurs, notamment des mineurs ; Common Sense Media a qualifié la technologie d'« unacceptable risk » pour les adolescents.