ダブルクリックで英日反転
Applied Sciences · Engineering
AI Search Evaluation ① Citation Rate
Citation Rate is the average number of URLs cited per answer. It is the denominator that defines a publisher's baseline chance of being cited, and the quantity facet of Citation Fidelity (C1).
Why It Matters
- Business: measures how often a site has a chance to be cited — a prerequisite to visibility.
- Academic: Liu et al. (EMNLP 2023) treat citation-presentation rate as the primary metric for evaluating generative search engines.
- An engine with zero citations cannot support answer verifiability at all.
Formula
- Citation Rate = (total cited URLs across all answers) ÷ (number of answers)
- Computed per engine; measured weekly over 600 queries × 6 engines.
Worked Example
- ChatGPT Search: 4,800 URLs / 600 questions = 8.0 per answer
- Gemini: 1,800 / 600 = 3.0 per answer
- Copilot: 6,600 / 600 = 11.0 — but many are appended Bing links, not tied to the answer body.
- High citation rate ≠ good; read alongside metric ③ accuracy.
Use in the ai-search Project
- Source: annotations.url_citation (ChatGPT), groundingMetadata (Gemini), citations (Claude), SERP extraction (AI Overview/Mode/Copilot).
- Construct: C1 Citation Fidelity — quantity dimension (quality handled by ③ accuracy).
- Covers all query types: factual, commercial, navigational, agent-task.
→ Citation Rate quantifies how many sources an engine surfaces per answer — a necessary (but not sufficient) condition for verifiability.
Applied Sciences · Engineering
AI検索評価 ① 引用率（Citation Rate）
引用率とは、1回答あたりに引用されたURLの平均本数。サイトが引用される可能性の分母であり、引用忠実性（Citation Fidelity）の「量」次元を構成する。
重要な理由
- ビジネス観点：引用される可能性の基準値を定める指標。引用されなければ露出はゼロ。
- 学術観点：Liu ら（EMNLP 2023）は引用提示率を生成型検索エンジン評価の主要指標と位置付けている。
- 引用がゼロのエンジンは、原理上、回答の検証可能性（verifiability）を担保できない。
計算式
- 引用率 ＝ 全回答の引用URL数合計 ÷ 回答数
- エンジン別に算出。600問 × 6エンジンを週次で計測。
計算例
- ChatGPT Search：4,800 URL ÷ 600問 ＝ 1回答あたり8.0件
- Gemini：1,800 ÷ 600 ＝ 3.0件
- Copilot：6,600 ÷ 600 ＝ 11.0件 — ただし多くはBing検索結果の羅列で本文との紐付けが弱い。
- 高い引用率＝優秀、は早計。指標③（精度）と合わせて読む必要がある。
ai-searchプロジェクトでの使い方
- 取得元：annotations.url_citation（ChatGPT）・groundingMetadata（Gemini）・citations（Claude）・SERP抽出（AI Overview/Mode/Copilot）。
- 構成概念：C1 引用忠実性の量次元（質は指標③が担当）。
- クエリ種別：事実確認・商用・ナビゲーション・エージェントタスクの全タイプが対象。
→ 引用率は「エンジンが1回答で何件の情報源を提示するか」を数値化した、検証可能性の必要条件（ただし十分条件ではない）。
Applied Sciences · Engineering
AI Search Evaluation ① Citation Rate
Citation Rate is the average number of URLs cited per answer. It is the denominator that defines a publisher's baseline chance of being cited, and the quantity facet of Citation Fidelity (C1).
Why It Matters
- Business: measures how often a site has a chance to be cited — a prerequisite to visibility.
- Academic: Liu et al. (EMNLP 2023) treat citation-presentation rate as the primary metric for evaluating generative search engines.
- An engine with zero citations cannot support answer verifiability at all.
Formula
- Citation Rate = (total cited URLs across all answers) ÷ (number of answers)
- Computed per engine; measured weekly over 600 queries × 6 engines.
Worked Example
- ChatGPT Search: 4,800 URLs / 600 questions = 8.0 per answer
- Gemini: 1,800 / 600 = 3.0 per answer
- Copilot: 6,600 / 600 = 11.0 — but many are appended Bing links, not tied to the answer body.
- High citation rate ≠ good; read alongside metric ③ accuracy.
Use in the ai-search Project
- Source: annotations.url_citation (ChatGPT), groundingMetadata (Gemini), citations (Claude), SERP extraction (AI Overview/Mode/Copilot).
- Construct: C1 Citation Fidelity — quantity dimension (quality handled by ③ accuracy).
- Covers all query types: factual, commercial, navigational, agent-task.
→ Citation Rate quantifies how many sources an engine surfaces per answer — a necessary (but not sufficient) condition for verifiability.
Applied Sciences · Engineering
AI検索評価 ① 引用率（Citation Rate）
引用率とは、1回答あたりに引用されたURLの平均本数。サイトが引用される可能性の分母であり、引用忠実性（Citation Fidelity）の「量」次元を構成する。
重要な理由
- ビジネス観点：引用される可能性の基準値を定める指標。引用されなければ露出はゼロ。
- 学術観点：Liu ら（EMNLP 2023）は引用提示率を生成型検索エンジン評価の主要指標と位置付けている。
- 引用がゼロのエンジンは、原理上、回答の検証可能性（verifiability）を担保できない。
計算式
- 引用率 ＝ 全回答の引用URL数合計 ÷ 回答数
- エンジン別に算出。600問 × 6エンジンを週次で計測。
計算例
- ChatGPT Search：4,800 URL ÷ 600問 ＝ 1回答あたり8.0件
- Gemini：1,800 ÷ 600 ＝ 3.0件
- Copilot：6,600 ÷ 600 ＝ 11.0件 — ただし多くはBing検索結果の羅列で本文との紐付けが弱い。
- 高い引用率＝優秀、は早計。指標③（精度）と合わせて読む必要がある。
ai-searchプロジェクトでの使い方
- 取得元：annotations.url_citation（ChatGPT）・groundingMetadata（Gemini）・citations（Claude）・SERP抽出（AI Overview/Mode/Copilot）。
- 構成概念：C1 引用忠実性の量次元（質は指標③が担当）。
- クエリ種別：事実確認・商用・ナビゲーション・エージェントタスクの全タイプが対象。
→ 引用率は「エンジンが1回答で何件の情報源を提示するか」を数値化した、検証可能性の必要条件（ただし十分条件ではない）。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains