Routing dei modelli: quando usare modelli economici vs costosi
Il routing invia i task semplici ai modelli economici e riserva i costosi ai difficili — spesso riducendo il costo senza perdere qualità.
Il modello più economico non è sempre quello con la tariffa per token più bassa. Lo è quello che conclude il lavoro con meno token fatturati.
Il modo sbagliato di confrontare
Confrontare solo le tariffe per token inganna. Un modello economico che serve due passaggi di rifinitura può costare più di uno premium che finisce in uno.
Confronta il numero totale di token fatturati per azione utente, non il listino.
Una regola di routing semplice
- Modelli economici per estrazione, classificazione, riassunto e decisioni di routing
- Modelli premium solo per la bozza finale, il ragionamento complesso o i task ambigui
La maggior parte dei workflow è 80% semplice e 20% difficile. Instrada di conseguenza.
Esempio
Un workflow di supporto: classifica → recupera → bozza → rifinisci.
- Classificare e recuperare: modello economico
- Bozza: modello economico
- Rifinire il 20% rischioso: modello premium
Il risultato eguaglia spesso il «premium ovunque» a una frazione del costo.
Guardrail
- Soglia di confidenza per decidere il routing
- Limita la frequenza del modello premium
- Ricontrolla il routing se salgono i reclami sulla qualità
Checklist rapida
- Dividi i task per complessità
- Instrada i passaggi semplici ai modelli economici
- Riserva i premium alla qualità finale
Related reading
Configura un monitoraggio dei costi API IA che intercetta spreco di token, picchi di retry e agenti incontrollati prima della fattura.
Le Batch API offrono ampi sconti per job asincroni. Scopri quando instradare al batch e quando il tempo reale vale il premium.
Stima i costi API IA da token e volume richieste prima del lancio, così non scopri un'economia unitaria inutilizzabile dopo.
Gli agenti moltiplicano il costo tramite retry, catene di strumenti e loop non convergenti. Impara a misurare e limitare le parti incontrollate.