Référence3 min de lecture · Mis à jour le 21 oct. 2026
Métriques d'évaluation des modèles — référence
Matrice de confusion, précision, rappel, F1, ROC-AUC et métriques de régression : quand utiliser laquelle et comment éviter les pièges.
- #mlops
Matrice de confusion (classification binaire)
| Prédit positif | Prédit négatif | |
|---|---|---|
| Réel positif | VP (vrai positif) | FN (faux négatif) |
| Réel négatif | FP (faux positif) | VN (vrai négatif) |
Métriques
- Exactitude = (VP + VN) / total. Trompeuse si les classes sont déséquilibrées (99 % de « normal » → 99 % d'exactitude en ne détectant rien).
- Précision = VP / (VP + FP) : parmi les alertes, combien sont vraies ? (coût des fausses alertes)
- Rappel = VP / (VP + FN) : parmi les vrais cas, combien détectés ? (coût des oublis)
- F1 = 2 × P × R / (P + R) : compromis harmonique.
- ROC-AUC : capacité à ordonner les positifs avant les négatifs, indépendamment du seuil ; PR-AUC plus informative quand les positifs sont rares.
Choisir selon le coût métier
| Cas d'usage | Priorité |
|---|---|
| Détection d'intrusion, fraude | rappel élevé, puis réduire les FP |
| Filtre anti-spam | précision élevée (ne pas perdre de vrais mails) |
| Prédiction de panne disque | rappel, avec seuil ajusté à la capacité d'intervention |
Le seuil de décision se règle après l'entraînement, en fonction du coût relatif FP / FN.
Régression
MAE (erreur absolue moyenne, lisible dans l'unité), RMSE (pénalise les grandes erreurs), MAPE (en %, instable près de zéro), R².
Bonnes pratiques d'évaluation
- Séparer entraînement / validation / test ; séries temporelles : découpage chronologique, jamais aléatoire.
- Éviter la fuite de données (variables connues seulement après l'événement).
- Comparer à une référence naïve (classe majoritaire, valeur de la veille).
- Surveiller en production la dérive des données et de la performance.
from sklearn.metrics import classification_report, confusion_matrix
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred, digits=3))