Break-Fix : Prometheus saturé par une métrique à forte cardinalité
Incident — Prometheus redémarre en boucle (OOM) depuis le déploiement de l'API commandes v2.
- Analysez la base :
sudo promtool tsdb analyze /var/lib/prometheus/metrics2→ métrique responsable →answer metrique <nom>; étiquette en cause →answer label <nom> - En attendant le correctif de l'application, supprimez cette étiquette à la collecte : dans le job
api-commandesdeprometheus.yml, ajoutezmetric_relabel_configsavecaction: labeldropetregex: user_id - Protégez Prometheus :
sample_limit: 50000sur ce job. Validez et redémarrez.
Contenu Premium+
Ce contenu est inclus dans l'offre Premium+. Le titre et le résumé restent visibles pour vous aider à choisir.
Tâches
- Métrique et étiquette identifiées
- Étiquette supprimée à la collecte
- Prometheus revalidé et relancé