LLM品質×コストのPareto最適化【2025年版】：多目的最適化で最適点を選ぶ

目的

LLMは“品質を上げるほど高コストになりがち”。単一指標の最大化から、品質×コストの多目的最適化へ発想を切り替えます。

指標設計

• 品質: 事実性、関連度、網羅性、害の無さ、トーン（0..1）
• コスト: 入力/出力トークン、推論時間（ms）、失敗率
• 制約: 最低限の品質しきい値（例: 事実性 ≥ 0.8）

Paretoフロントの構築

type Point = { id: string; quality: number; cost: number; latency: number };

function paretoFront(points: Point[]) {
  return points.filter(p => !points.some(q => (q.quality >= p.quality && q.cost <= p.cost && q.latency <= p.latency) && (q.quality > p.quality || q.cost < p.cost || q.latency < p.latency)));
}

グリッド探索：モデル×プロンプト×RAG設定

type Cfg = { model: string; temp: number; topP: number; ctxTokens: number };
async function evaluate(cfg: Cfg) {
  // オフラインベンチで品質を推定し、APIレスポンスからトークン/時間を計測
  return { quality: await score(cfg), cost: tokens(cfg) * price(cfg.model), latency: await time(cfg) };
}

async function gridSearch(cfgs: Cfg[]) {
  const res = [] as (Cfg & {quality:number;cost:number;latency:number})[];
  for (const c of cfgs) res.push({ ...c, ...(await evaluate(c)) });
  return paretoFront(res);
}

ナッジ（ゲート）で運用に落とす

• 既定は軽量モデル、品質しきい値未満だけ高性能へ昇格（品質ゲート）。
• 長文/高リスクドメインのみCoTや長いコンテキストを許可（コストゲート）。

function routeByRisk(input: { text: string; risk: 'low'|'high' }) {
  return input.risk === 'high' ? { model: 'pro', cot: true } : { model: 'lite', cot: false };
}

意思決定手順

1. 代表データでベンチを作成（品質とコストを同時計測）
2. グリッド探索→Paretoフロントを抽出
3. 組織目標に合わせ重み/制約を設定（例：月額予算上限）
4. 本番でA/B→ダッシュボードで追跡→定期的に再探索

チェックリスト

• 品質・コスト・レイテンシの同時計測
• しきい値とフォールバック（ゲート）
• Paretoフロントの可視化
• 定期再評価とモデル更新の追従

まとめ

Pareto思考により、“十分に良い品質”を最小コストで満たす運用が可能になります。評価とコストの両輪を回し、状況に応じて最適点を更新しましょう。