Finestra di contesto
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Definizione
La finestra di contesto è il budget totale di token per una singola richiesta: prompt di sistema + conversazione + dati recuperati + risposta del modello.
Perché conta per il costo
Ogni token nella finestra è fatturato come input (tranne l'output generato). Una finestra di 200k token riempita di cronologia ripetuta può rendere costosa una chiamata economica.
Suggerimento pratico
Invia a ogni turno solo ciò di cui il modello ha bisogno. Usa riassunti, recupero e selezione dei blocchi invece di riversare tutta la cronologia. Contesti più piccoli significano costi minori e spesso risposte migliori.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.