プロンプトキャッシュ：繰り返すプロンプトのコストを削減する

なぜ繰り返すコンテキストが高くつくか

多くのアプリは毎回同じ内容を送る。

• 指示を含む長いシステムプロンプト
• 取得した文書やナレッジの断片
• めったに変わらない会話履歴

これらのトークンは次のリクエストでも再び課金される。

プロンプトキャッシュの仕組み

プロバイダーは安定したプレフィックスをキャッシュ済みとしてマークできる。最初のリクエストは通常の入力料金で、同じプレフィックスを再利用する以降のリクエストは、はるかに低いキャッシュトークン料金で課金される。

そのプレフィックスの入力コストは、一般的に 50%〜90% 削減される。

キャッシュが効く場面

次のようなときに最も強い。

• 同じ長いコンテキストが多数のリクエストで繰り返される
• リクエストが頻繁（呼び出し量が多い）
• プレフィックスが数分間以上安定している

すべてのリクエストが一意なら、ほとんど役に立たない。

実践的な設定

• 安定した内容（システムプロンプト、参照文書）をコンテキストの先頭に置く
• 呼び出し間でキャッシュプレフィックスを変えない
• レート割引だけでなくキャッシュヒット率を測定する

クイックチェックリスト

• プロンプト内の繰り返しプレフィックスを見つける
• プレフィックスが安定している箇所でキャッシュを有効にする
• 毎週キャッシュヒット率を追跡する