Fine-tuning
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.
Definizione
Il fine-tuning adatta un modello di base ai tuoi task con dati di esempio, riducendo così il bisogno di istruzioni e contesto few-shot.
Perché conta per il costo
Un modello fine-tuned può ridurre i prompt e il bisogno di recupero o prompting multi-step — meno token per chiamata. Ma aggiunge costi di addestramento e manutenzione.
Suggerimento pratico
Fine-tuna solo dopo aver misurato che la riduzione del prompt supera i costi di addestramento e manutenzione.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.