OpenAI : pic d'échecs à 75% sur ChatGPT après maintenance Postgres
TL;DR
- Entre 1h48 et 5h21 PT le 21 novembre, le taux d'échec des requêtes a culminé à 75 % sur ChatGPT, gratuit et payant.
- Une maintenance sur une base PostgresDB servant le Primary API a fait tomber les deux réplicas en lecture simultanément.
- OpenAI dit avoir décrété un moratoire sur ce type de maintenance et ajouté un feature flag pour détourner le trafic des réplicas.
Entre 1h48 et 5h21 heure du Pacifique le 21 novembre, le taux d'échec des requêtes OpenAI a culminé à 75 % sur ChatGPT, versions gratuite et payante, selon le rapport d'incident publié par l'entreprise.
L'origine : une maintenance sur une base PostgresDB utilisée par le service Primary API, qui porte l'authentification à travers toute l'infrastructure. Les deux réplicas en lecture sont tombés en même temps. « they are load-bearing, causing request paths dependent on them to fail », écrit OpenAI dans son post-mortem. La panne s'est propagée aux API Chat Completions, Fine-tuning, Embeddings, Images, Batch, Audio, Moderations, Realtime et Files, ainsi qu'aux conversations, à la connexion, à la recherche, aux uploads de fichiers et au mode vocal de ChatGPT.
Les tentatives de relance des réplicas défaillants puis de mise en service de remplaçants dans d'autres régions ont toutes échoué. Le rétablissement est passé par l'ajout, en coordination avec le fournisseur, de deux nouveaux réplicas dans la même région.
OpenAI dit avoir décrété un moratoire sur ce type de maintenance, ajusté des paramètres pour réduire le « connection churn », et déployé un feature flag « which lets us shift traffic away from replicas on a percentage based rollout ». L'entreprise, qui a nourri 264 alertes dans notre tracker ces 90 derniers jours, promet aussi une revue pré-maintenance, de la capacité en hot standby pendant les opérations et une automatisation du rattrapage de latence des réplicas.
Article original publié par status.openai.com
Lire l'article original →Titre original : Panne OpenAI : 75 % des requêtes ChatGPT échouent 3h30 après la maintenance Postgres qui tue les deux réplicas