Durchsatz (Tokens pro Sekunde)
Durchsatz misst, wie schnell ein Modell Tokens erzeugt. Höherer Durchsatz kann retry- und infrastrukturbedingte Latenzkosten senken.
Definition
Durchsatz ist die Zahl der Tokens, die ein Modell pro Sekunde erzeugt.
Warum es für Kosten wichtig ist
Langsame Generierung kann Timeout-Retries und die Rechenzeit erhöhen, die Sie bei Self-Hosting zahlen. Schnellere Modelle senken sowohl Latenz als auch retry-bedingte Verschwendung.
Praktischer Tipp
Wiegen Sie bei latenzsensiblen Pfaden mit hohem Volumen den Durchsatz zusammen mit dem Token-Preis ab, wenn Sie ein Modell wählen.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.