Batch API
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
Definizione
Una Batch API accetta molte richieste e le processa in modo asincrono, di solito entro una finestra fino a 24 ore, con sconto.
Perché conta per il costo
Gli endpoint batch costano spesso molto meno delle chiamate in tempo reale. Spostare il lavoro tollerante al ritardo (backfill, generazione in massa) al batch riduce la spesa senza cambiare la qualità.
Suggerimento pratico
Instrada per tolleranza alla latenza: tutto ciò che può aspettare in batch, lascia in tempo reale solo le interazioni live.
Related reading
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.