Chargement incrémental (upsert)
Chaque nuit, le pipeline reçoit dans stg_produits les produits nouveaux ou modifiés depuis le dernier chargement. La table cible dw_produits doit être mise à jour sans tout recharger. Terminez chaque requête par « ; » (.tables, .schema <table>).
- Appliquez un upsert :
INSERT INTO dw_produits … SELECT … FROM stg_produits WHERE true ON CONFLICT(code) DO UPDATE SET nom = excluded.nom, prix = excluded.prix, maj_le = excluded.maj_le - Mettez à jour le filigrane (watermark) :
etat_chargement.dernier_maj= plus grandemaj_lechargée - Nombre de lignes de
dw_produitsaprès chargement →answer lignes <n>
Contenu Premium
Ce contenu est inclus dans l'offre Premium. Le titre et le résumé restent visibles pour vous aider à choisir.
Tâches
- Nouveaux produits insérés, modifiés mis à jour
- Filigrane mis à jour
- Volumétrie