Embeddings (Vettori)
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Definizione
Gli embeddings sono vettori numerici che rappresentano il significato del testo. Alimentano la ricerca semantica e il recupero.
Perché conta per il costo
I modelli di embedding sono di solito molto più economici per token dei modelli di chat o generazione. Usare embeddings per il recupero — poi generare solo sui blocchi corrispondenti — mantiene basso il numero di token di generazione.
Suggerimento pratico
Metti in cache gli embeddings per documenti stabili, così non re-imbeddi lo stesso contenuto a ogni richiesta.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.
La distillazione addestra un modello piccolo a imitare uno grande, scambiando un po' di qualità con un costo per token molto più basso su larga scala.