Distillazione di modello
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.
Definizione
La distillazione addestra un modello più piccolo ed economico a riprodurre il comportamento di uno più grande.
Perché conta per il costo
Un modello distillato può essere molto più economico e veloce per token, il che si accumula su volumi di chiamate elevati — se la perdita di qualità è accettabile per il task.
Suggerimento pratico
Usa la distillazione per i passaggi ad alto volume e a basso rischio, e riserva il modello grande ai task dove la qualità è critica.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.