Throughput (Token al secondo)
Il throughput misura quanto velocemente un modello genera token. Un throughput più alto può ridurre i retry legati alla latenza e i costi infrastrutturali.
Definizione
Il throughput è quanti token un modello genera al secondo.
Perché conta per il costo
Una generazione lenta può aumentare i retry su timeout e il tempo di calcolo che paghi in self-hosting. Modelli più veloci riducono sia la latenza sia lo spreco da retry.
Suggerimento pratico
Per i percorsi ad alto volume e sensibili alla latenza, pondera il throughput insieme al prezzo per token nella scelta del modello.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.