Embeddings（埋め込み）

Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。

定義

Embeddings はテキストの意味を表す数値ベクトル。意味検索と取得を支える。

埋め込みモデルはチャットや生成モデルより通常ずっとトークンあたりが安い。埋め込みで取得し——一致したチャンクのみで生成する——ことで、生成トークン数を低く保てる。

安定した文書の埋め込みをキャッシュし、毎回同じ内容を再埋め込みしないようにする。

Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。

コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。

Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。

蒸留は小さいモデルに大きいモデルを模倣させ、多少の品質と引き換えに大規模でのずっと低いトークンコストを得る。