Limite de débit (Rate Limit)
Les limites de débit plafonnent requêtes ou tokens par fenêtre. Les atteindre déclenche des retries qui augmentent le coût.
Définition
Une limite de débit est un plafond de requêtes ou de tokens par minute/heure fixé par le fournisseur.
Pourquoi ça compte pour le coût
Quand vous atteignez une limite, votre appli retry généralement. Les retries multiplient appels et tokens, gonflant discrètement le coût lors des pics de trafic.
Conseil pratique
Ajoutez backoff et plafonds de retry. Des retries illimitées transforment une limitation en pic de coût.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.