Fine-tuning
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.
Definition
Fine-tuning passt ein Basismodell mit Beispieldaten an Ihre Aufgaben an, sodass es weniger Anweisungen und Few-Shot-Kontext braucht.
Warum es für Kosten wichtig ist
Ein feinabgestimmtes Modell kann Prompts verkleinern und den Bedarf an Abruf oder mehrstufigem Prompting reduzieren – weniger Tokens pro Aufruf. Es kommen aber Trainingskosten und Wartung hinzu.
Praktischer Tipp
Fine-tunen Sie erst, nachdem Sie gemessen haben, dass die Prompt-Verkleinerung Trainings- und Pflegekosten überwiegt.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.