Glossaire des coûts IA
Les termes derrière votre facture IA, expliqués simplement — pour raisonner sur le coût sans décoder les docs fournisseurs.
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.
Le cache de prompts réduit le coût d'entrée des contextes répétés en mettant en cache un préfixe stable entre les requêtes.
Le RAG récupère un contexte pertinent avant la génération. Bien fait, il réduit le gaspillage de tokens ; mal fait, il gonfle le contexte.
Les limites de débit plafonnent requêtes ou tokens par fenêtre. Les atteindre déclenche des retries qui augmentent le coût.
Le streaming renvoie les tokens au fur et à mesure de leur génération, améliorant la latence perçue. Il ne change pas le coût par token mais influence l'UX et les timeouts.
La température contrôle l'aléatoire de la sortie. Des valeurs basses sont plus prévisibles et plus faciles à planifier pour le coût.
Le débit mesure la vitesse de génération des tokens. Un débit plus élevé peut réduire les retries liées à la latence et les coûts d'infrastructure.
Un token est l'unité facturée par les fournisseurs LLM — environ un fragment de mot. Le nombre de tokens détermine quasiment tout coût d'API IA.