Servir un LLM open source avec vLLM

Déployez le modèle mistralai/Mistral-7B-Instruct-v0.3 sur le serveur gpu01 (2 GPU) avec une API compatible OpenAI :

1. Créez le service /etc/systemd/system/vllm.service avec ExecStart=/opt/vllm/bin/vllm serve mistralai/Mistral-7B-Instruct-v0.3 --host 127.0.0.1 --port 8000 --tensor-parallel-size 2 --max-model-len 8192 --gpu-memory-utilization 0.90, EnvironmentFile=/etc/vllm/vllm.env (qui contient VLLM_API_KEY), User=vllm, Restart=on-failure
2. sudo systemctl daemon-reload, sudo systemctl enable --now vllm
3. Testez : curl -s -H "Authorization: Bearer $VLLM_API_KEY" http://127.0.0.1:8000/v1/models → identifiant du modèle servi → answer modele <id>
4. Que répartit --tensor-parallel-size 2 ? → answer tp <poids|requetes|utilisateurs>