Temperature（温度）
温度は出力のランダム性を制御する。低い値は推論しやすく、コスト計画の予測可能性も高い。
定義
温度はモデル出力のランダムさを決める。0 に近いほど決定論的、高いほど変化に富む。
コストに関わる理由
温度はトークン単価を直接変えないが、高いランダム性はより長く焦点の定まらない出力につながり、出力トークンコストを押し上げる。低く焦点を絞った設定は、より短く予測可能な応答を生むことが多い。
実用的なヒント
構造化され繰り返し可能なタスクには低温度を使い、出力をコンパクトに、コストを安定させる。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。