Token
Ein Token ist die Einheit, nach der LLM-Anbieter abrechnen – etwa ein Wortfragment. Die Token-Zahl treibt fast alle KI-API-Kosten.
Definition
Ein Token ist das Textstück, das ein LLM liest und erzeugt. Im Englischen ist ein Token etwa vier Zeichen oder drei Viertel eines Worts. Andere Sprachen variieren.
Warum es für Kosten wichtig ist
Anbieter rechnen nach Tokens, aufgeteilt in:
- Eingabe-Tokens (was Sie senden)
- Ausgabe-Tokens (was das Modell zurückgibt)
Ihre Rechnung ist im Wesentlichen Eingabe-Tokens × Eingabesatz + Ausgabe-Tokens × Ausgabesatz, multipliziert mit der Zahl der Aufrufe.
Praktischer Tipp
Den Token-Verbrauch zu senken – kürzere Prompts, gecachter Kontext, begrenzte Ausgaben – ist der direkteste Weg, KI-API-Kosten zu senken.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.