Streaming
Le streaming renvoie les tokens au fur et à mesure de leur génération, améliorant la latence perçue. Il ne change pas le coût par token mais influence l'UX et les timeouts.
Définition
Le streaming livre la sortie du modèle token par token plutôt que d'un coup.
Pourquoi ça compte pour le coût
Le streaming ne change pas le nombre de tokens facturés — vous payez le même montant. Mais il améliore la vitesse perçue et peut réduire les timeouts client qui déclencheraient un retry (et des coûts en plus).
Conseil pratique
Utilisez le streaming pour la génération face à l'utilisateur afin d'éviter les retries liées au timeout, tout en gardant des plafonds de tokens de sortie.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.