Senior Premium+

Servir un LLM open source sur GPU avec vLLM et Kubernetes

Concevez l'infrastructure d'inférence d'un LLM interne : dimensionnement GPU, serveur vLLM, déploiement Kubernetes avec nœuds GPU, autoscaling sur la file d'attente, observabilité et maîtrise des coûts.

150 min220 XPServing de modèles (vLLM, Triton)

Bientôt disponible

Les exercices pratiques ouvrent prochainement. Le titre, le résumé et le plan restent visibles pour découvrir le contenu.

Créer mon compte Se connecter

01 Objectif
02 Prérequis
03 Architecture
04 Environnement
05 Installation
06 Configuration
07 Mise en œuvre
08 Validation
09 Tests
10 Supervision
11 Sécurité
12 Automatisation
13 Dépannage
14 Considérations de production
15 Nettoyage
16 Leçons apprises

Autres labs de cette technologie

Intermédiaire Break-Fix Interactif Premium

Break-Fix : le service d'inférence ne démarre plus après la mise à jour du modèle

L'équipe data a publié la version v3 du modèle de sentiment et supprimé la v2. Depuis, l'API d'inférence est indisponible. Remettez-la en service sur le port attendu par les clients (8500).

Serving de modèles (vLLM, Triton) 25 min