Fenêtre de contexte
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Définition
La fenêtre de contexte est le budget total de tokens d'une requête : prompt système + conversation + données récupérées + réponse du modèle.
Pourquoi ça compte pour le coût
Chaque token de la fenêtre est facturé en entrée (sauf la sortie générée). Une fenêtre de 200k tokens remplie d'historique répété peut rendre cher un appel bon marché.
Conseil pratique
Envoyez à chaque tour seulement ce dont le modèle a besoin. Utilisez résumés, récupération et sélection de blocs plutôt que de déverser tout l'historique. De petits contextes = coûts plus bas et souvent de meilleures réponses.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.