Cache dei prompt: come tagliare i costi dei prompt ripetuti

Perché il contesto ripetuto costa caro

Molte app inviano ad ogni chiamata lo stesso contenuto:

• Un lungo prompt di sistema con istruzioni
• Un documento o frammento di knowledge base recuperato
• Una cronologia conversazionale che cambia poco

Ciascuno di questi token viene fatturato di nuovo alla richiesta successiva.

Come funziona la cache dei prompt

I fornitori permettono di marcare un prefisso stabile come in cache. La prima richiesta paga il pieno prezzo di input; quelle successive che riusano lo stesso prefisso sono fatturate a un tasso token di cache molto più basso.

Il risparmio è spesso tra il 50% e il 90% del costo di input per quel prefisso.

Quando conviene la cache

È più forte quando:

• Lo stesso lungo contesto si ripete su molte richieste
• Le richieste sono frequenti (alto volume)
• Il prefisso resta stabile per minuti o più

Se ogni richiesta è unica, aiuta poco.

Configurazione pratica

• Metti il contenuto stabile (prompt di sistema, documenti) in cima al contesto
• Mantieni il prefisso in cache invariato tra le chiamate
• Misura il tasso di hit della cache, non solo lo sconto

Checklist rapida

• Individua i prefissi ripetuti nei prompt
• Attiva la cache dove il prefisso è stabile
• Monitora il tasso di hit ogni settimana