Fine-tuning (Réglage fin)
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.
Définition
Le fine-tuning adapte un modèle de base à vos tâches avec des exemples, réduisant ainsi le besoin en instructions et contexte few-shot.
Pourquoi ça compte pour le coût
Un modèle fine-tuné peut réduire les prompts et le besoin de récupération ou de prompting multi-étapes — moins de tokens par appel. Mais il ajoute un coût d'entraînement et de maintenance.
Conseil pratique
Fine-tunez seulement après avoir mesuré que la réduction de prompt compense entraînement et maintenance.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.