RAG (Retrieval-Augmented Generation)
RAG ruft vor der Generierung relevanten Kontext ab. Gut gemacht senkt es Token-Verschwendung; schlecht gemacht bläht es den Kontext auf.
Definition
RAG holt relevante Dokumente oder Blöcke und injiziert sie in den Prompt, sodass das Modell aus Ihren Daten antwortet.
Warum es für Kosten wichtig ist
Guter Abruf sendet nur die nötigen Blöcke und hält Eingabe-Tokens niedrig. Schlechter Abruf kippt ganze Dokumente in den Kontext, erhöht Kosten und schadet der Relevanz.
Praktischer Tipp
Rufen Sie präzise ab und begrenzen Sie die Blockzahl. Kombinieren Sie RAG mit Caching für stabilen abgerufenen Kontext.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.