Temperatura
La temperatura controlla la casualità dell'output. Valori bassi sono più facili da ragionare e più prevedibili per la pianificazione dei costi.
Definizione
La temperatura imposta quanto è casuale un output del modello. Vicino a 0 è deterministico; valori più alti sono più vari.
Perché conta per il costo
La temperatura non cambia direttamente la tariffa per token, ma un'alta casualità può portare a output più lunghi e meno focalizzati — aumentando il costo dei token di output. Impostazioni basse e focalizzate tendono a produrre risposte più brevi e prevedibili.
Suggerimento pratico
Usa bassa temperatura per task strutturati e ripetibili, per mantenere gli output compatti e i costi stabili.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.