Rate Limit
Rate Limits deckeln, wie viele Requests oder Tokens Sie pro Fenster senden dürfen. Das Erreichen löst Retries aus, die Kosten erhöhen.
Definition
Ein Rate Limit ist eine Obergrenze für Requests oder Tokens pro Minute/Stunde, die der Anbieter setzt.
Warum es für Kosten wichtig ist
Wenn Sie ein Limit erreichen, retryt Ihre App meist. Retries vervielfachen Aufrufe und Tokens und treiben die Kosten bei Traffic-Spitzen leise nach oben.
Praktischer Tipp
Fügen Sie Backoff und Retry-Limits hinzu. Unbegrenzte Retries verwandeln ein Drossel-Ereignis in eine Kostenspitze.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.