Réduire la fatigue d'alerte
L'astreinte a reçu 214 notifications la semaine dernière, dont 90 % sans action. Le fichier /etc/prometheus/rules/app.yml en est la cause.
Réécrivez-le selon les bonnes pratiques :
HighCPU(> 80sans durée,critical) : ajoutezfor: 15met passez-la enseverity: warning(la CPU haute n'est pas un symptôme utilisateur)- Remplacez
ApiError(rate(http_requests_total{code=~"5.."}[1m]) > 0) par une alerte sur le taux d'erreur :ApiErrorRatioHigh=sum(rate(http_requests_total{job="api",code=~"5.."}[5m])) / sum(rate(http_requests_total{job="api"}[5m])) > 0.02,for: 5m,severity: critical, avec une annotationrunbook_url - Validez (
promtool check rules) et rechargez
Combien d'alertes critiques reste-t-il dans le fichier ? → answer critiques <n>
Contenu Premium+
Ce contenu est inclus dans l'offre Premium+. Le titre et le résumé restent visibles pour vous aider à choisir.
Tâches
- HighCPU apaisée
- Alerte sur le taux d'erreur
- Validé, rechargé, bilan