Prompt-Caching
Prompt-Caching senkt die Eingabekosten wiederholter Kontexte, indem ein stabiles Präfix über Requests hinweg gecacht wird.
Definition
Prompt-Caching lässt einen Anbieter ein stabiles Präfix Ihres Prompts (Systemanweisungen, Referenzdokumente) über Requests hinweg wiederverwenden, statt es voll zum Eingabesatz neu abzurechnen.
Warum es für Kosten wichtig ist
Cache-Tokens werden viel niedriger als frische Eingabe-Tokens abgerechnet – bei wiederholenden Workloads oft 50–90 % weniger Eingabekosten.
Praktischer Tipp
Halten Sie stabile Inhalte oben im Prompt und ändern Sie sie zwischen Aufrufen nicht, damit der Cache weiter trifft.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.