Distillation de modèle
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.
Définition
La distillation entraîne un modèle plus petit et moins cher à reproduire le comportement d'un plus grand.
Pourquoi ça compte pour le coût
Un modèle distillé peut être bien moins cher et plus rapide par token, ce qui se cumule sur de gros volumes d'appels — si la perte de qualité est acceptable.
Conseil pratique
Utilisez la distillation pour les étapes à fort volume et faible enjeu, et réservez le grand modèle aux tâches où la qualité est critique.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.