Infrastructure GPU : lire nvidia-smi et dimensionner la mémoire

Intermédiaire LinuxInfrastructure GPU (CUDA)25 min50 XP

Le serveur gpu01 doit accueillir un nouveau modèle.

  1. nvidia-smi : modèle de GPU et mémoire totale par GPU (Gio) → answer vram <n> ; quel processus occupe le GPU 1 ? → answer processus <nom>
  2. Mémoire des seuls poids d'un modèle de 70 milliards de paramètres en FP16/BF16 (2 octets par paramètre), en Go → answer fp16 <n> ; en quantification 4 bits → answer int4 <n>
  3. Le modèle 70B en BF16 tient-il sur les 2 GPU du serveur ? → answer tient <oui|non>
  4. Pod Kubernetes d'inférence : écrivez ~/k8s/inference.yaml qui demande un GPU (nvidia.com/gpu: 1 dans resources.limits) et tolère la teinte nvidia.com/gpu (operator: Exists, effect: NoSchedule)

Contenu Premium

Ce contenu est inclus dans l'offre Premium. Le titre et le résumé restent visibles pour vous aider à choisir.

Tâches

  1. Lecture de nvidia-smi
  2. Dimensionnement
  3. Pod GPU