Cache dei prompt
La cache dei prompt riduce il costo di input dei contesti ripetuti mettendo in cache un prefisso stabile tra le richieste.
Definizione
La cache dei prompt permette a un fornitore di riusare un prefisso stabile del tuo prompt (istruzioni di sistema, documenti) tra le richieste, invece di rifatturarlo al pieno tariffa input.
Perché conta per il costo
I token in cache sono fatturati a un tasso molto più basso dei token di input freschi — spesso riducendo del 50–90% il costo di input sui carichi ripetitivi.
Suggerimento pratico
Mantieni il contenuto stabile in cima al prompt e non cambiarlo tra le chiamate, così la cache continua a colpire.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.