Token（トークン）
Token は LLM プロバイダーが課金する単位——おおよそ単語の断片。トークン数がほぼすべての AI API コストを決める。
定義
Token は LLM が読み取り、生成するテキストのかたまり。英語では 1 トークンは約 4 文字、あるいは約 3/4 単語。他の言語では異なる。
コストに関わる理由
プロバイダーはトークン単位で課金し、次の 2 つに分かれる。
- 入力トークン（送信する内容）
- 出力トークン（モデルが返す内容）
請求額は本質的に 入力トークン × 入力単価 + 出力トークン × 出力単価、それに呼び出し回数を掛けたものだ。
実用的なヒント
トークン使用量を減らす——短いプロンプト、キャッシュしたコンテキスト、上限付きの出力——は AI API コストを下げる最も直接的な方法だ。
Related reading
Glossary
Batch API
Batch API は大量の非同期リクエストを割引价で処理する。遅延結果を許容できるジョブに最適。
Glossary
コンテキストウィンドウ
コンテキストウィンドウはモデルが 1 回のリクエストで見られる最大トークン数。満たすほど 1 回の呼び出しコストは高くなる。
Glossary
Embeddings（埋め込み）
Embeddings は検索や取得のためにテキストをベクトルに変換する。トークンあたりでは生成よりずっと安いことが多い。
Glossary
Fine-tuning（微調整）
Fine-tuning は自社データでモデルを訓練する。プロンプトと呼び出しを減らせるが、事前の訓練コストを天秤にかける必要がある。