Token
Un token è l'unità su cui i fornitori LLM fatturano — circa un frammento di parola. Il numero di token determina quasi tutti i costi API IA.
Definizione
Un token è il pezzo di testo che un LLM legge e genera. In inglese, un token è circa quattro caratteri, ovvero circa tre quarti di una parola. Le altre lingue variano.
Perché conta per il costo
I fornitori fatturano per token, divisi in:
- Token di input (ciò che invii)
- Token di output (ciò che il modello restituisce)
La tua fattura è essenzialmente token_input × tariffa_input + token_output × tariffa_output, moltiplicato per il numero di chiamate.
Suggerimento pratico
Ridurre l'uso di token — prompt più brevi, contesto in cache, output limitati — è il modo più diretto per abbassare il costo API IA.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.