LLM Cost Estimator
Confronta modelli con token totali fatturati e numero di passaggi, non solo rate “per token”.
The problem
Modelli diversi possono completare con numero di call diverso. Anche il rate più basso può costare di più nel totale.
Framework
- tokens fatturati per call
- calls per azione utente
- token totali per modello
Perché conta il routing
Modelli economici per step semplici, premium solo per output finale.
Esempio
Modello A: 1 call. Modello B: 2 calls. A può vincere anche se B ha un rate più basso.