Streaming
Lo streaming restituisce i token man mano che vengono generati, migliorando la latenza percepita. Non cambia il costo per token ma influisce su UX e timeout.
Definizione
Lo streaming consegna l'output del modello token per token invece che tutto insieme.
Perché conta per il costo
Lo streaming non cambia il numero di token fatturati — paghi lo stesso. Ma migliora la velocità percepita e può ridurre i timeout lato client che altrimenti innescherebbero un retry (e costi extra).
Suggerimento pratico
Usa lo streaming per la generazione verso l'utente per evitare retry da timeout, mantenendo i tetti di token di output.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.