Rate Limit（レート制限）
レート制限は各時間窓で送信できるリクエストやトークン数の上限。到達するとリトライが発生しコストが上がる。
定義
レート制限はプロバイダーが設ける 1 分/1 時間あたりのリクエストまたはトークンの上限。
コストに関わる理由
上限に達すると、アプリは通常リトライする。リトライは呼び出しとトークンを何倍にもし、トラフィックのピーク時にコストを静かに押し上げる。
実用的なヒント
バックオフとリトライ上限を追加する。無制限のリトライはスロットリングイベントをコストスパイクに変えてしまう。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。