Streaming（ストリーミング）
ストリーミングは生成と同時にトークンを返し、知覚遅延を改善する。トークンコストは変わらないが UX とタイムアウトに影響する。
定義
ストリーミングはモデル出力を一度にではなく、トークンごとに配送する。
コストに関わる理由
ストリーミングは課金トークン数を変えない——払う額は同じ。だが知覚速度を改善し、リトライ（と追加コスト）を招くクライアント側タイムアウトを減らせる。
実用的なヒント
ユーザー向け生成にはストリーミングを使い、タイムアウト起因のリトライを避けつつ、出力トークン上限は維持する。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。