プロンプトキャッシュ
プロンプトキャッシュは、リクエスト間で安定したプレフィックスをキャッシュすることで、繰り返されるコンテキストの入力コストを下げる。
定義
プロンプトキャッシュはプロバイダーに、プロンプトの安定したプレフィックス（システム指示、参照文書）をリクエスト間で再利用させ、毎回フル入力単価で再課金しないようにする。
コストに関わる理由
キャッシュトークンは新規入力トークンよりずっと低い単価で課金される——繰り返しのワークロードでは入力コストを 50%〜90% 減らすこともある。
実用的なヒント
安定した内容をプロンプトの先頭に置き、呼び出し間で変えないことで、キャッシュが継続してヒットするようにする。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。