RAG (Génération augmentée par récupération)
Le RAG récupère un contexte pertinent avant la génération. Bien fait, il réduit le gaspillage de tokens ; mal fait, il gonfle le contexte.
Définition
Le RAG récupère documents ou blocs pertinents et les injecte dans le prompt pour que le modèle réponde à partir de vos données.
Pourquoi ça compte pour le coût
Une bonne récupération n'envoie que les blocs nécessaires, gardant les tokens d'entrée bas. Une mauvaise déverse des documents entiers dans le contexte, augmentant le coût et nuisant à la pertinence.
Conseil pratique
Récupérez précisément et plafonnez le nombre de blocs. Associez le RAG au cache pour un contexte récupéré stable.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.