Infrastructure GPU : lire nvidia-smi et dimensionner la mémoire
Le serveur gpu01 doit accueillir un nouveau modèle.
nvidia-smi: modèle de GPU et mémoire totale par GPU (Gio) →answer vram <n>; quel processus occupe le GPU 1 ? →answer processus <nom>- Mémoire des seuls poids d'un modèle de 70 milliards de paramètres en FP16/BF16 (2 octets par paramètre), en Go →
answer fp16 <n>; en quantification 4 bits →answer int4 <n> - Le modèle 70B en BF16 tient-il sur les 2 GPU du serveur ? →
answer tient <oui|non> - Pod Kubernetes d'inférence : écrivez
~/k8s/inference.yamlqui demande un GPU (nvidia.com/gpu: 1dansresources.limits) et tolère la teintenvidia.com/gpu(operator: Exists,effect: NoSchedule)
Contenu Premium
Ce contenu est inclus dans l'offre Premium. Le titre et le résumé restent visibles pour vous aider à choisir.
Tâches
- Lecture de nvidia-smi
- Dimensionnement
- Pod GPU