Coût et latence d'une application LLM

L'assistant interne consomme chaque mois 40 M de jetons en entrée et 6 M en sortie (~/llm/usage-septembre.md). Tarif contractuel fictif du lab : 3 € par million de jetons en entrée, 15 € par million en sortie ; les jetons lus depuis le cache de prompt sont facturés 10 % du tarif d'entrée.

1. Coût mensuel actuel (€) → answer cout <n>
2. 30 M des 40 M de jetons d'entrée sont le même préfixe (instructions système + documentation) répété à chaque requête. Avec le cache de prompt sur ce préfixe, nouveau coût (€, frais d'écriture du cache négligés) → answer cout-cache <n>
3. Les utilisateurs trouvent l'attente longue avant de voir le moindre texte (réponses de 20 s). Technique pour afficher la réponse au fur et à mesure → answer latence <streaming|batch|cache>
4. Écrivez ~/llm/recommandations.md : ## Cache de prompt (préfixe stable placé en tête), ## Streaming, ## Plafonds (max_tokens et budget par utilisateur)