Embeddings
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Definition
Embeddings sind numerische Vektoren, die die Bedeutung von Text darstellen. Sie treiben semantische Suche und Abruf an.
Warum es für Kosten wichtig ist
Embedding-Modelle sind typischerweise viel günstiger pro Token als Chat- oder Generierungsmodelle. Embeddings für den Abruf zu nutzen – und nur auf den passenden Blöcken zu generieren – hält die Generierungs-Token niedrig.
Praktischer Tipp
Cache Embeddings für stabile Dokumente, damit Sie denselben Inhalt nicht bei jedem Request neu einbetten.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.