Rate Limit
I rate limit fissano quante richieste o token puoi inviare per finestra. Raggiungerli innesca retry che alzano il costo.
Definizione
Un rate limit è un tetto su richieste o token per minuto/ora fissato dal fornitore.
Perché conta per il costo
Quando raggiungi un limite, la tua app di solito retry. I retry moltiplicano chiamate e token, gonfiando silenziosamente il costo durante i picchi di traffico.
Suggerimento pratico
Aggiungi backoff e tetti di retry. Retry illimitati trasformano un evento di throttling in un picco di costo.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.