Break-Fix : un job Spark échoue par manque de mémoire

Incident — Le job nocturne agregats_ventes.py échoue depuis que le volume a doublé. Les journaux sont dans /var/log/spark/agregats_ventes.log.

1. Cause principale → answer cause <memoire|reseau|disque|droits>
2. Clé déséquilibrée (skew) repérée dans les métriques des tâches → answer cle <valeur>
3. Corrigez le script de lancement /opt/jobs/run_agregats.sh : --executor-memory 8g, --conf spark.sql.shuffle.partitions=400 et activez l'exécution adaptative (--conf spark.sql.adaptive.enabled=true et --conf spark.sql.adaptive.skewJoin.enabled=true), puis relancez-le