Réduire l’usage de tokens des LLM
Moins de tokens via moins de contexte, des réponses plus courtes et des garde-fous contre les boucles.
Les tokens explosent quand l’app envoie plus de contexte que nécessaire ou quand un agent empile des étapes en boucle.
Où les tokens se multiplient
- Historique complet renvoyé à chaque tour
- Résultats d’outils trop verbeux
- Étapes de “self-reflection” qui répètent le même travail
Décomposition : tokens → usage
Chaque prompt, chaque appel d’outil et chaque retry génèrent des tokens facturés.
Exemple
Un générateur de contenu envoie 20 paragraphes à chaque draft. En passant à des résumés + sélection de chunks, vous réduisez les tokens d’entrée.
Idées d’optimisation
- Compresser le contexte : résumés, retrieval, citations ciblées.
- Contrôler les sorties : max output tokens + stop sequences.
- Pour les agents : plafonner profondeur, retries, appels d’outils.
Checklist
- Envoyer moins de contexte
- Raccourcir les outputs d’outils
- Limites côté code + budgets côté monitoring
Related reading
Une méthode pour réduire le coût d’API IA : prompts, outils, routage et monitoring.
Réduisez le coût GPT en contrôlant max tokens, le choix de modèle et en évitant les pics.
Baissez vos dépenses en contrôlant les tokens, les retries et le comportement des agents.
Les coûts d’API IA montent à cause du gaspillage de tokens, des retries/chaînes d’outils, et des boucles d’agents. Mesurez les vraies causes et capez ce qui part en runaway.