Coût et latence
Chaque appel se paie en tokens et en secondes. Un bon système envoie un contexte réduit, réutilise un début de prompt en cache et réserve le modèle le plus puissant aux étapes qui l'exigent.
- coût
- latence
- budget
- tokens
- cache de prompt
- streaming
- batch
- modèle léger
Syntaxe
Coût ≈ tokens d'entrée + tokens de sortie (+ tokens de raisonnement), chacun à son tarifLatence ≈ délai avant le premier token + durée de génération (proportionnelle à la longueur de sortie)Leviers : contexte minimal · préfixe stable mis en cache · sortie bornée · modèle léger d'abord, modèle fort en recours · traitement par lots hors temps réelExemple
Chatbot de support, 10 000 conversations par mois.Avant : modèle fort pour tout, documentation complète renvoyée à chaque message.Après : 1. un modèle léger classe la demande ; la FAQ suffit dans la majorité des cas 2. le modèle fort ne traite que les demandes restantes 3. consignes et FAQ placées en début de prompt, identiques d'un appel à l'autre → cache de promptRésultat attendu : moins de tokens facturés au tarif fort et des réponses plus rapidesaux demandes simples, à qualité vérifiée sur le jeu de test.À retenir
- Le cache de prompt ne s'applique qu'à un début de prompt strictement identique : placez les consignes et documents stables en premier, les éléments variables (question, date, nom) à la fin.
- Bornez la longueur de sortie (consigne et paramètre de longueur maximale) : les tokens générés sont en général plus chers et plus lents que les tokens lus.
- Affichez la réponse au fil de l'eau (streaming) pour réduire l'attente perçue, et passez par les API de traitement par lots pour ce qui peut attendre.
- Les tarifs changent souvent : raisonnez en tokens par tâche et consultez la grille du fournisseur au moment de chiffrer.
- Piège : choisir le modèle le moins cher sans mesurer son taux d'échec. Une réponse fausse qui provoque une relance, une escalade vers un humain ou une erreur métier coûte plus que l'appel économisé.
Voir aussi
- Tokens et fenêtre de contexteUn LLM ne lit pas des mots mais des tokens, des fragments de texte. Tout ce qu'il voit tient dans une fenêtre de contexte limitée, et chaque token envoyé ou produit coûte du temps et de l'argent.
- Modèles de raisonnementCertains modèles « réfléchissent » avant de répondre en produisant un raisonnement intermédiaire. Ils valent leur surcoût sur les problèmes à plusieurs étapes, pas sur les tâches simples.
- Choisir un modèle et un outilIl n'existe pas de meilleur modèle dans l'absolu : on part de la tâche, on en déduit des critères (contexte, raisonnement, multimodal, coût, hébergement), puis on teste deux ou trois candidats.