RAG (Generazione aumentata dal recupero)
Il RAG recupera contesto rilevante prima della generazione. Fatto bene taglia lo spreco di token; fatto male gonfia il contesto.
Definizione
Il RAG recupera documenti o blocchi rilevanti e li inietta nel prompt, così il modello risponde dai tuoi dati.
Perché conta per il costo
Un buon recupero invia solo i blocchi necessari, mantenendo bassi i token di input. Un recupero scadente rovescia documenti interi nel contesto, alzando il costo e danneggiando la rilevanza.
Suggerimento pratico
Recupera con precisione e limita il numero di blocchi. Abbina il RAG alla cache per un contesto recuperato stabile.
Related reading
Le Batch API processano grandi insiemi asincroni di richieste con sconto. Ideali per job che tollerano risultati ritardati.
La finestra di contesto è il massimo numero di token che un modello può vedere in una richiesta. Più è piena, più costa ogni chiamata.
Gli embeddings trasformano il testo in vettori per ricerca e recupero. Per token sono solitamente molto più economici della generazione.
Il fine-tuning addestra un modello sui tuoi dati. Può ridurre prompt e chiamate, ma ha un costo di addestramento iniziale da valutare.