KI-Kosten-Glossar
Die Begriffe hinter Ihrer KI-Rechnung, einfach erklärt — damit Sie Kosten verstehen, ohne Lieferantendoku zu entziffern.
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.
Prompt-Caching senkt die Eingabekosten wiederholter Kontexte, indem ein stabiles Präfix über Requests hinweg gecacht wird.
RAG ruft vor der Generierung relevanten Kontext ab. Gut gemacht senkt es Token-Verschwendung; schlecht gemacht bläht es den Kontext auf.
Rate Limits deckeln, wie viele Requests oder Tokens Sie pro Fenster senden dürfen. Das Erreichen löst Retries aus, die Kosten erhöhen.
Streaming liefert Tokens, während sie erzeugt werden, und verbessert die wahrgenommene Latenz. Es ändert die Token-Kosten nicht, beeinflusst aber UX und Timeouts.
Die Temperatur steuert die Zufälligkeit der Ausgabe. Niedrigere Werte sind leichter abzuschätzen und planbarer für Kosten.
Durchsatz misst, wie schnell ein Modell Tokens erzeugt. Höherer Durchsatz kann retry- und infrastrukturbedingte Latenzkosten senken.
Ein Token ist die Einheit, nach der LLM-Anbieter abrechnen – etwa ein Wortfragment. Die Token-Zahl treibt fast alle KI-API-Kosten.