Tokens et fenêtre de contexte
Un LLM ne lit pas des mots mais des tokens, des fragments de texte. Tout ce qu'il voit tient dans une fenêtre de contexte limitée, et chaque token envoyé ou produit coûte du temps et de l'argent.
- token
- contexte
- fenêtre
- context window
- perdu au milieu
- historique
Syntaxe
Contexte d'un appel = consignes système + historique + documents joints + question + réponse générée (elle aussi comptée)Ordre de grandeur : 1 token ≈ 3 à 4 caractères (le français en consomme plus que l'anglais)Coût d'un appel ≈ tokens d'entrée × tarif d'entrée + tokens de sortie × tarif de sortieExemple
Tâche : faire résumer un contrat de 40 pages (environ 25 000 tokens).Appel 1 : contrat entier + « résume en 10 points » → tient dans la fenêtre, mais la clause de résiliation de la page 21 est oubliée.Appel 2 : contrat découpé en 4 parties, un résumé par partie, puis une synthèse → plus de tokens au total, mais la clause de la page 21 apparaît.Résultat attendu : un contexte qui « tient » n'est pas forcément bien lu ;découper ou interroger section par section fiabilise l'extraction.À retenir
- Les informations placées au milieu d'un long contexte sont moins bien exploitées que celles du début ou de la fin (effet « perdu au milieu ») : mettez la consigne et les extraits clés en tête ou en fin de prompt.
- Dans une conversation, tout l'historique est renvoyé à chaque message : une longue session coûte de plus en plus cher et finit par tronquer ou résumer les premiers échanges.
- Comptez les tokens avec l'outil du fournisseur : chaque famille de modèles découpe le texte à sa façon, et une estimation par caractères reste approximative.
- Piège : croire qu'une très grande fenêtre de contexte dispense de choisir ce qu'on envoie. Coller tout un dépôt ou tout un dossier partagé dilue l'attention du modèle et augmente le coût comme la latence ; ne fournissez que les passages utiles.
Voir aussi
- Coût et latenceChaque appel se paie en tokens et en secondes. Un bon système envoie un contexte réduit, réutilise un début de prompt en cache et réserve le modèle le plus puissant aux étapes qui l'exigent.
- RAG (génération augmentée par récupération)Le RAG va chercher dans vos documents les passages utiles à la question et les place dans le prompt : le modèle répond à partir de sources à jour, peut les citer, et sans réentraînement.
- HallucinationsUn LLM produit le texte le plus plausible, pas le plus vrai : il peut inventer une fonction, une loi ou une source avec aplomb. On s'en protège en fournissant des sources et en vérifiant.