引用率 (Citation Rate)

一言定義: 1 回答あたりの平均引用 URL 数。

なぜ重要か

  • ビジネス側: 引用が多いエンジンは「ソースを示してくれる」ので、ユーザーが裏取りしやすい。クライアント側にとっては「引用されるチャンスが増える」分母にあたる。
  • 学術側: Citation Fidelity(C1)の量側面。引用ゼロのエンジンは検証可能性 (verifiability) が原理的に成立しない。Liu et al. (2023) はこの引用提示率を Generative Search Engine 評価の第一指標としている。

計算式

引用率 = (全回答の引用URL数 合計) ÷ (回答数)

エンジン別に算出。query-set-v1.json の 600 問 × エンジン 6 つで毎週測る。

具体例

仮想シナリオ:

  • ChatGPT Search: 600 問で計 4,800 URL → 8.0 件/回答
  • Gemini: 600 問で計 1,800 URL → 3.0 件/回答
  • Copilot: 600 問で計 6,600 URL → 11.0 件/回答(ただし Bing スニペット連結なので品質は別途要確認)

「引用率が高い = 良い」と単純には言えない。Copilot のように 検索結果リンクをそのまま並べているだけで本文と紐づいていないケースもあるため、③ 正確性と組み合わせて読む。

関連学術文献

  • Liu, N. F., Zhang, T., & Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. Findings of EMNLP 2023.
  • Aggarwal, P. et al. (2024). GEO: Generative Engine Optimization. KDD 2024.

ai-search プロジェクト内での運用

  • 対象クエリ: query-set-v1.json 全 600 問(factual / commercial / navigational / agent-task 全種)
  • 取得方法: ChatGPT Search は annotations.url_citation、Gemini は groundingMetadata、Claude は citations、AI Overview/Mode/Copilot は Bright Data SERP の引用リンク抽出
  • 構成概念: C1 Citation Fidelity(質は ③ 正確性で測り、量はここで測る)

参考・引用元

  • ドキュメント: 「リサーチ戦略・分析指標12項目」— GMO ai-search docs/research-strategy.md
  • 論文: 「Evaluating Verifiability in Generative Search Engines」— Liu, Zhang, Liang, Findings of EMNLP 2023
  • 論文: 「GEO: Generative Engine Optimization」— Pranjal Aggarwal et al., KDD 2024

2026-05-30 作成。AI検索評価12指標シリーズ ①。

関連ノート