コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
定義
コンテキストウィンドウは 1 回のリクエストのトークン総予算だ。システムプロンプト + 会話 + 取得データ + モデルの応答。
コストに関わる理由
ウィンドウ内の各トークンは入力として課金される（生成された出力を除く）。20 万トークンのウィンドウが重複した履歴で満たされると、安い呼び出しを高くすることがある。
実用的なヒント
各ターンでモデルに必要なものだけを送る。要約・取得・チャンク選択を使い、全文履歴を流し込むのはやめる。小さいコンテキストはコスト低下と、しばしばより良い回答を意味する。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。
Glossary
Model Distillation（モデル蒸留）
蒸留は小さいモデルに大きいモデルを模倣させ、多少の品質と引き換えに大規模でのずっと低いトークンコストを得る。