OpenAI et Anthropic distillés par des labos militaires chinois

Une enquête publiée par Reuters a passé au crible plus de 80 articles académiques et brevets chinois, et le portrait qui en ressort déplace la conversation sur les contrôles à l'export. La question n'est plus seulement de savoir qui peut acheter les puces, mais qui peut aspirer les sorties des modèles américains pour en construire des versions locales que Pékin contrôle.

La technique documentée est la distillation, où les réponses d'un grand modèle servent à entraîner un modèle plus petit, spécialisé, déployable hors ligne sur des infrastructures nationales. Selon Reuters, l'Unité 96941 de l'APL, présentée comme une unité de renseignement militaire et de cyber-guerre basée à Pékin, a utilisé GPT-3.5 d'OpenAI pour analyser du code logiciel militaire sensible, puis a entraîné un modèle local sur ces résumés générés par l'IA afin de le faire tourner entièrement à l'intérieur des réseaux militaires chinois. À l'Université nationale de technologie de la défense, rattachée à l'APL, des chercheurs ont distillé un modèle de traitement d'images pour l'embarquer sur des drones, avec pour objectif que ceux-ci traitent la vidéo en direct et gèrent la navigation et le ciblage même lorsque les communications sont coupées. À l'Université du Nord de Chine, décrite comme proche de l'industrie de l'armement, Claude 3 Haiku d'Anthropic a servi à générer des données synthétiques pour un classifieur de textes destiné à la surveillance des réseaux sociaux et à la modération de contenu.

L'enjeu pour les fournisseurs américains est direct. Anthropic a dit à Reuters ne pas fournir Claude commercialement en Chine ni à des entités contrôlées par Pékin, s'appuyer sur des systèmes de monitoring pour détecter les violations de politique, et souligner que les modèles distillés peuvent perdre les garde-fous de sécurité du modèle d'origine. La Maison-Blanche, le Pentagone, le ministère chinois des Affaires étrangères, l'APL et OpenAI n'ont pas répondu aux sollicitations, selon Reuters.

La lecture honnête est que le reportage ne dit pas comment, techniquement, ces comptes chinois ont accédé à GPT-3.5 ni si une violation formelle des conditions d'usage est prouvée, et il ne quantifie pas la dégradation de sûreté des modèles distillés côté chinois. Ce qu'il installe, en revanche, c'est un cadre où la prochaine bataille de politique publique portera moins sur qui peut acheter le modèle que sur qui peut en collecter les sorties à grande échelle, et où le fingerprinting des générations et la détection d'usages détournés deviennent un produit stratégique pour les fournisseurs comme pour les régulateurs.