blog.cloudflare.com via Hacker News

Cloudflare signale 155 réponses du modèle GLM-5.3 contaminées par le KV cache d'autres clients

Résumé

Cloudflare publie son post-mortem de l'incident GLM-5.3 : entre le 27 août et le 9 septembre, 155 réponses du modèle sur Workers AI ont renvoyé des fragments issus du KV cache de clients précédents, dès que le prompt dépassait 681 280 tokens. La fenêtre de contexte était configurée à 1 048 576 tokens alors que le pool KV ne pouvait en héberger que 681 280, et un bug SGLang en mode désagrégé laissait les nœuds de décodage lire des pages périmées. Modèle retiré 40 minutes après le signalement HackerOne, puis correctifs SGLang 0.5.22, checksum KV et deferred release déployés.