Cache de prompts
Le cache de prompts réduit le coût d'entrée des contextes répétés en mettant en cache un préfixe stable entre les requêtes.
Définition
Le cache de prompts permet à un fournisseur de réutiliser un préfixe stable de votre prompt (instructions système, docs) entre les requêtes, au lieu de le re-facturer au plein tarif d'entrée.
Pourquoi ça compte pour le coût
Les tokens en cache sont facturés bien moins cher que les tokens d'entrée neufs — souvent 50 à 90 % de moins sur les charges répétitives.
Conseil pratique
Gardez le contenu stable en haut du prompt et ne le changez pas entre les appels, pour que le cache continue de toucher.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.