Kontextfenster
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Definition
Das Kontextfenster ist das gesamte Token-Budget für einen einzelnen Request: System-Prompt + Konversation + abgerufene Daten + die Modellantwort.
Warum es für Kosten wichtig ist
Jeder Token im Fenster wird als Eingabe abgerechnet (außer der erzeugten Ausgabe). Ein 200k-Token-Fenster, gefüllt mit wiederholter Historie, kann einen günstigen Aufruf verteuern.
Praktischer Tipp
Senden Sie pro Runde nur, was das Modell braucht. Nutzen Sie Zusammenfassungen, Abruf und Blockauswahl statt der gesamten Historie. Kleinere Kontexte bedeuten niedrigere Kosten und oft bessere Antworten.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.