Température
La température contrôle l'aléatoire de la sortie. Des valeurs basses sont plus prévisibles et plus faciles à planifier pour le coût.
Définition
La température fixe à quel point la sortie est aléatoire. Près de 0 c'est déterministe ; plus haut c'est plus varié.
Pourquoi ça compte pour le coût
La température ne change pas directement le tarif par token, mais un fort aléatoire peut produire des sorties plus longues et moins ciblées — augmentant le coût des tokens de sortie. Des réglages bas et ciblés produisent souvent des réponses plus courtes et prévisibles.
Conseil pratique
Utilisez une basse température pour les tâches structurées et répétables, afin de garder les sorties compactes et les coûts stables.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.