Ridurre l’uso dei token nei LLM
Riduci token con meno contesto, risposte più brevi e limiti anti-loop.
The problem
L’uso dei token cresce quando invii più contesto del necessario o quando gli agent impilano testo in loop.
Dove i token si moltiplicano
- Storia completa inviata a ogni turno
- Tool output troppo verbosi
- Self-reflection che ripete lavoro
Breakdown: tokens → usage
Ogni prompt, ogni tool call e ogni retry genera token fatturati.
Esempio
Un generatore invia 20 paragrafi a ogni draft. Con riassunti e chunk selection, riduci l’input.
Idee di ottimizzazione
- Compatta il contesto: summary, retrieval, citazioni mirate.
- Controlla l’output: max output tokens + stop sequences.
- Per agent: cap su depth, retries, tool calls.
Checklist
- Meno contesto per turno
- Output tool più corto
- Limiti nel codice + budget nel monitoring
Avanti
Stimare la spesa tokenRelated reading
Guides
Strategie di ottimizzazione dei costi AI
Un approccio strutturato: modelli, prompt, tool, routing e monitoring.
Guides
Ridurre il costo di GPT
Riduci GPT cost con cap max tokens, scelta del modello e stop ai picchi.
Guides
Ridurre il costo dell’API OpenAI
Abbassa la spesa controllando token, retry e comportamento dei tuoi agent.
Guides
Perché l’API AI costa così tanto? (E come fermare lo spreco)
I costi dell’API AI crescono per spreco di token, retry/catene di tool e loop degli agent. Misura le cause reali e limita la parte runaway.