Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。
Model Distillation（モデル蒸留）
蒸留は小さいモデルに大きいモデルを模倣させ、多少の品質と引き換えに大規模でのずっと低いトークンコストを得る。
プロンプトキャッシュ
プロンプトキャッシュは、リクエスト間で安定したプレフィックスをキャッシュすることで、繰り返されるコンテキストの入力コストを下げる。
RAG（検索拡張生成）
RAG は生成前に関連コンテキストを検索する。うまくいけばトークンの無駄を減らす。下手ならコンテキストを膨らませる。
Rate Limit（レート制限）
レート制限は各時間窓で送信できるリクエストやトークン数の上限。到達するとリトライが発生しコストが上がる。
Streaming（ストリーミング）
ストリーミングは生成と同時にトークンを返し、知覚遅延を改善する。トークンコストは変わらないが UX とタイムアウトに影響する。
Temperature（温度）
温度は出力のランダム性を制御する。低い値は推論しやすく、コスト計画の予測可能性も高い。
Throughput（毎秒トークン数）
スループットはモデルがトークンを生成する速さ。高いほど遅延起因のリトライやインフラコストを下げられる。
Token（トークン）
Token は LLM プロバイダーが課金する単位——おおよそ単語の断片。トークン数がほぼすべての AI API コストを決める。
