Débit (Tokens par seconde)
Le débit mesure la vitesse de génération des tokens. Un débit plus élevé peut réduire les retries liées à la latence et les coûts d'infrastructure.
Définition
Le débit est le nombre de tokens qu'un modèle génère par seconde.
Pourquoi ça compte pour le coût
Une génération lente augmente les retries sur timeout et le temps de calcul que vous payez en auto-hébergé. Les modèles plus rapides réduisent à la fois la latence et le gaspillage lié aux retries.
Conseil pratique
Pour les chemins à fort volume et sensibles à la latence, pesez le débit avec le prix par token au choix du modèle.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.