Token
Un token est l'unité facturée par les fournisseurs LLM — environ un fragment de mot. Le nombre de tokens détermine quasiment tout coût d'API IA.
Définition
Un token est le morceau de texte qu'un LLM lit et génère. En anglais, un token fait environ quatre caractères, soit environ trois quarts de mot. Les autres langues varient.
Pourquoi ça compte pour le coût
Les fournisseurs facturent par token, répartis en :
- Tokens d'entrée (ce que vous envoyez)
- Tokens de sortie (ce que le modèle renvoie)
Votre facture est essentiellement tokens_entrée × tarif_entrée + tokens_sortie × tarif_sortie, multiplié par le nombre d'appels.
Conseil pratique
Réduire l'usage de tokens — prompts plus courts, contexte en cache, sorties plafonnées — est le moyen le plus direct de baisser le coût d'API IA.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.