Embeddings (Plongements)
Les embeddings transforment le texte en vecteurs pour la recherche et la récupération. Par token, ils sont bien moins chers que la génération.
Définition
Les embeddings sont des vecteurs numériques représentant le sens du texte. Ils alimentent la recherche sémantique et la récupération.
Pourquoi ça compte pour le coût
Les modèles d'embedding sont généralement beaucoup moins chers par token que les modèles de chat ou de génération. Utiliser des embeddings pour la récupération — puis générer seulement sur les blocs correspondants — garde le nombre de tokens de génération bas.
Conseil pratique
Mettez en cache les embeddings des documents stables pour ne pas les recréer à chaque requête.
Related reading
Les Batch API traitent de gros lots asynchrones avec remise. Idéal pour les jobs tolérant des résultats différés.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut voir en une requête. Plus elle est remplie, plus l'appel coûte cher.
Le fine-tuning entraîne un modèle sur vos données. Il peut réduire prompt et appels, mais a un coût d'entraînement initial à peser.
La distillation entraîne un petit modèle à imiter un grand, troquant un peu de qualité contre un coût par token bien plus bas à grande échelle.