Batch API
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
Définition
Une Batch API accepte beaucoup de requêtes et les traite de façon asynchrone, généralement dans une fenêtre allant jusqu'à 24 heures, avec remise.
Pourquoi ça compte pour le coût
Les endpoints batch coûtent souvent bien moins que les appels temps réel. Déplacer le travail tolérant le délai (backfills, génération en masse) vers le batch réduit les dépenses sans changer la qualité.
Conseil pratique
Routez par tolérance à la latence : tout ce qui peut attendre en batch, ne gardez en temps réel que les interactions live.
Related reading
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.