Modell-Destillation
Destillation trainiert ein kleines Modell, ein großes nachzuahmen – tauscht etwas Qualität gegen viel niedrigere Token-Kosten im großen Maßstab.
Definition
Destillation trainiert ein kleineres, günstigeres Modell, das das Verhalten eines größeren nachbildet.
Warum es für Kosten wichtig ist
Ein destilliertes Modell kann pro Token viel günstiger und schneller sein, was sich über hohe Aufrufvolumen rechnet – sofern der Qualitätsverlust für die Aufgabe akzeptabel ist.
Praktischer Tipp
Nutzen Sie Destillation für hochvolumige, risikoarme Schritte und reservieren Sie das große Modell für qualitätskritische Aufgaben.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.