Temperatur
Die Temperatur steuert die Zufälligkeit der Ausgabe. Niedrigere Werte sind leichter abzuschätzen und planbarer für Kosten.
Definition
Die Temperatur legt fest, wie zufällig eine Modellausgabe ist. Nahe 0 ist deterministisch; höhere Werte sind variabler.
Warum es für Kosten wichtig ist
Die Temperatur ändert den Token-Satz nicht direkt, aber hohe Zufälligkeit kann zu längeren, weniger fokussierten Ausgaben führen – was die Ausgabe-Token-Kosten erhöht. Niedrigere, fokussierte Einstellungen erzeugen meist kürzere, vorhersehbare Antworten.
Praktischer Tipp
Nutzen Sie niedrige Temperatur für strukturierte, wiederholbare Aufgaben, um Ausgaben kompakt und Kosten stabil zu halten.
Related reading
Batch-APIs verarbeiten große asynchrone Request-Mengen mit Rabatt. Ideal für Jobs, die verzögerte Ergebnisse tolerieren.
Das Kontextfenster ist die maximale Token-Zahl, die ein Modell in einem Request sehen kann. Größere Fenster kosten pro Aufruf mehr, wenn sie gefüllt sind.
Embeddings verwandeln Text in Vektoren für Suche und Abruf. Pro Token sind sie meist viel günstiger als Generierung.
Fine-tuning trainiert ein Modell auf Ihren Daten. Es kann Prompt-Größe und Aufrufe senken, hat aber Vorab-Trainingskosten abzuwägen.