Batch-API
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Definition
Eine Batch-API nimmt viele Requests entgegen und verarbeitet sie asynchron, meist innerhalb eines Fensters von bis zu 24 Stunden, mit Rabatt.
Warum es für Kosten wichtig ist
Batch-Endpunkte kosten meist deutlich weniger als Echtzeit-Aufrufe. Verzögerungstolerante Arbeit (Backfills, Massengenerierung) an Batch zu verschieben senkt die Ausgaben ohne Qualitätsänderung.
Praktischer Tipp
Routen Sie nach Latenz-Toleranz: alles, was warten kann, an Batch; nur Live-Interaktionen echtzeitnah lassen.
Related reading
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.