Alertes qui clignotent en boucle (flapping) et fatigue d'astreinte
```text [FIRING:1] HighCPU web-03 … [RESOLVED] HighCPU web-03 … [FIRING:1] HighCPU web-03 ```
Détecter
L'astreinte reçoit des dizaines de notifications par nuit pour la même alerte qui passe de firing à resolved toutes les quelques minutes ; les vraies alertes finissent ignorées.
Symptômes
L'astreinte reçoit des dizaines de notifications par nuit pour la même alerte qui passe de firing à resolved toutes les quelques minutes ; les vraies alertes finissent ignorées.
Environnement
Prometheus + Alertmanager, alertes à seuil fixe (cpu > 80), notifications vers messagerie et téléphone.
Cause racine
Seuil proche de la valeur normale, absence de clause for, évaluation sur une fenêtre trop courte, et alertes portant sur une cause (CPU) plutôt que sur un symptôme vu par l'utilisateur.
Diagnostic
- Historique :
ALERTS{alertname="HighCPU"}sur 24 h. - Mesurer combien d'alertes ont mené à une action (taux d'alertes utiles).
- Vérifier
group_wait,group_interval,repeat_intervaldans Alertmanager.
Solution
- Ajouter
for: 10met lisser (avg_over_time). - Remplacer les alertes de cause par des alertes de symptôme (SLO, burn rate).
- Réserver la page téléphonique aux alertes nécessitant une action immédiate ; le reste en ticket.
- Regrouper et inhiber (une panne de site inhibe les alertes des serveurs du site).
Commandes
- alert: HighCPUSustained
expr: avg_over_time(instance:cpu_utilisation:rate5m[15m]) > 0.9
for: 15m
labels: { severity: ticket }
Prévention
Revue mensuelle des alertes (supprimer celles qui n'entraînent aucune action), chaque alerte liée à un runbook, indicateur « pages par astreinte ».