Réduire la fatigue d'alerte

Senior LinuxAlertmanager40 min80 XP

L'astreinte a reçu 214 notifications la semaine dernière, dont 90 % sans action. Le fichier /etc/prometheus/rules/app.yml en est la cause.

Réécrivez-le selon les bonnes pratiques :

  1. HighCPU (> 80 sans durée, critical) : ajoutez for: 15m et passez-la en severity: warning (la CPU haute n'est pas un symptôme utilisateur)
  2. Remplacez ApiError (rate(http_requests_total{code=~"5.."}[1m]) > 0) par une alerte sur le taux d'erreur : ApiErrorRatioHigh = sum(rate(http_requests_total{job="api",code=~"5.."}[5m])) / sum(rate(http_requests_total{job="api"}[5m])) > 0.02, for: 5m, severity: critical, avec une annotation runbook_url
  3. Validez (promtool check rules) et rechargez

Combien d'alertes critiques reste-t-il dans le fichier ? → answer critiques <n>

Contenu Premium+

Ce contenu est inclus dans l'offre Premium+. Le titre et le résumé restent visibles pour vous aider à choisir.

Tâches

  1. HighCPU apaisée
  2. Alerte sur le taux d'erreur
  3. Validé, rechargé, bilan