Glossario dei costi IA
I termini dietro la vostra fattura IA, spiegati in parole semplici — per ragionare sui costi senza decifrare la documentazione.
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.
La cache dei prompt riduce il costo di input dei contesti ripetuti mettendo in cache un prefisso stabile tra le richieste.
Il RAG recupera contesto rilevante prima della generazione. Fatto bene taglia lo spreco di token; fatto male gonfia il contesto.
I rate limit fissano quante richieste o token puoi inviare per finestra. Raggiungerli innesca retry che alzano il costo.
Lo streaming restituisce i token man mano che vengono generati, migliorando la latenza percepita. Non cambia il costo per token ma influisce su UX e timeout.
La temperatura controlla la casualità dell'output. Valori bassi sono più facili da ragionare e più prevedibili per la pianificazione dei costi.
Il throughput misura quanto velocemente un modello genera token. Un throughput più alto può ridurre i retry legati alla latenza e i costi infrastrutturali.
Un token è l'unità su cui i fornitori LLM fatturano — circa un frammento di parola. Il numero di token determina quasi tutti i costi API IA.