Streaming
Streaming liefert Tokens, während sie erzeugt werden, und verbessert die wahrgenommene Latenz. Es ändert die Token-Kosten nicht, beeinflusst aber UX und Timeouts.
Definition
Streaming liefert Modellausgaben Token für Token statt auf einmal.
Warum es für Kosten wichtig ist
Streaming ändert die Zahl der abgerechneten Tokens nicht – Sie zahlen gleich. Aber es verbessert die wahrgenommene Geschwindigkeit und kann clientseitige Timeouts reduzieren, die sonst einen Retry (und Mehrkosten) auslösen würden.
Praktischer Tipp
Nutzen Sie Streaming für nutzernahe Generierung, um timeout-bedingte Retries zu vermeiden, während Sie Ausgabe-Token-Limits beibehalten.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.