Break-Fix : Prometheus saturé par une métrique à forte cardinalité

Senior LinuxPrometheus40 min80 XP

Incident — Prometheus redémarre en boucle (OOM) depuis le déploiement de l'API commandes v2.

  1. Analysez la base : sudo promtool tsdb analyze /var/lib/prometheus/metrics2 → métrique responsable → answer metrique <nom> ; étiquette en cause → answer label <nom>
  2. En attendant le correctif de l'application, supprimez cette étiquette à la collecte : dans le job api-commandes de prometheus.yml, ajoutez metric_relabel_configs avec action: labeldrop et regex: user_id
  3. Protégez Prometheus : sample_limit: 50000 sur ce job. Validez et redémarrez.

Contenu Premium+

Ce contenu est inclus dans l'offre Premium+. Le titre et le résumé restent visibles pour vous aider à choisir.

Tâches

  1. Métrique et étiquette identifiées
  2. Étiquette supprimée à la collecte
  3. Prometheus revalidé et relancé