RAG（検索拡張生成）

RAG は生成前に関連コンテキストを検索する。うまくいけばトークンの無駄を減らす。下手ならコンテキストを膨らませる。

定義

RAG は関連文書やチャンクを取得しプロンプトに注入し、モデルに自社データで答えさせる。

良い検索は必要なチャンクだけを送り、入力トークンを低く保つ。悪い検索は文書全体をコンテキストに流し込み、コストを上げ関連性を損なう。

精度よく検索しチャンク数を制限する。RAG をキャッシュと組み合わせ、安定した取得コンテキストにする。

Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。

コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。

Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。

Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。