ダブルクリックで英日反転
Applied Sciences · Engineering
Source Diversity — How Unskewed the Cited Sources Are
Source Diversity = unique domains ÷ total citations. Ranges 0–1; values near 1 mean the engine draws from a wide spread of sites, while low values reveal heavy reliance on a handful of domains.
Why It Matters
- Business: low diversity means the engine favours Wikipedia or large aggregators, shrinking your site's chance of being cited.
- Academic: reflects retrieval-policy bias. Yang et al. (2025) found within-provider citation similarity of 0.82–0.99.
- It is the inverse of C2 Source Trustworthiness Bias — lower diversity, higher concentration.
Formula & Quick Examples
- Formula: unique domains ÷ total citations.
- 100 citations, 80 unique domains → 0.80 (diverse).
- 50 citations, 12 unique domains → 0.24 (skewed).
Worked Example (600 questions)
- Gemini: 1,800 citations / 900 unique domains → 0.50 (most diverse).
- Claude WebSearch: 3,600 / 1,200 → 0.33 (each domain cited ~3× on average).
- Copilot (Bing): 6,600 / 800 → 0.12 (concentrated on Wikipedia & large SEO sites).
Project Usage
- Covers all 600 target queries in the ai-search evaluation project.
- Cross-tabulated by engine × sector (10 sectors) to observe per-sector citation skew.
→ Source Diversity quantifies how widely an AI search engine spreads its citations — a single number that exposes hidden algorithmic bias toward dominant domains.
Applied Sciences · Engineering
ソース多様性(Source Diversity)— 引用元の偏りを測る指標
ソース多様性 = ユニークドメイン数 ÷ 総引用数。0〜1の値をとり、1に近いほど多様なサイトから引用している。低い値は特定ドメインへの偏重(concentration)を示す。
なぜ重要か
- ビジネス観点:低い値はエンジンがWikipediaや大型アグリゲーターを優遇している証拠で、自社サイトが引用される確率が下がる。
- 学術観点:検索エンジンの取得ポリシーのバイアスを反映。Yang et al.(2025)はプロバイダー内の引用類似度が0.82〜0.99と報告。
- C2「ソース信頼性バイアス」の逆指標——多様性が低いほど特定ソースへの依存が高い。
計算式と具体例
- 計算式:ユニークドメイン数 ÷ 総引用数。
- 引用100件・ユニーク80ドメイン → 0.80(多様)。
- 引用50件・ユニーク12ドメイン → 0.24(偏重)。
実測例(600問での比較)
- Gemini:1,800引用 / 900ユニーク → 0.50(最も多様)。
- Claude WebSearch:3,600 / 1,200 → 0.33(1ドメインが平均3回引用)。
- Copilot(Bing):6,600 / 800 → 0.12(Wikipedia・大手SEOサイトに集中)。
プロジェクトでの使用方法
- ai-search評価プロジェクトの全600クエリを対象に計測。
- エンジン × 業種(10セクター)でクロス集計し、セクターごとの引用偏重を観察。
→ ソース多様性は、AIサーチエンジンが引用元をどれだけ広く分散させているかを1つの数値で示し、支配的ドメインへのアルゴリズム的バイアスを可視化する。
Applied Sciences · Engineering
Source Diversity — How Unskewed the Cited Sources Are
Source Diversity = unique domains ÷ total citations. Ranges 0–1; values near 1 mean the engine draws from a wide spread of sites, while low values reveal heavy reliance on a handful of domains.
Why It Matters
- Business: low diversity means the engine favours Wikipedia or large aggregators, shrinking your site's chance of being cited.
- Academic: reflects retrieval-policy bias. Yang et al. (2025) found within-provider citation similarity of 0.82–0.99.
- It is the inverse of C2 Source Trustworthiness Bias — lower diversity, higher concentration.
Formula & Quick Examples
- Formula: unique domains ÷ total citations.
- 100 citations, 80 unique domains → 0.80 (diverse).
- 50 citations, 12 unique domains → 0.24 (skewed).
Worked Example (600 questions)
- Gemini: 1,800 citations / 900 unique domains → 0.50 (most diverse).
- Claude WebSearch: 3,600 / 1,200 → 0.33 (each domain cited ~3× on average).
- Copilot (Bing): 6,600 / 800 → 0.12 (concentrated on Wikipedia & large SEO sites).
Project Usage
- Covers all 600 target queries in the ai-search evaluation project.
- Cross-tabulated by engine × sector (10 sectors) to observe per-sector citation skew.
→ Source Diversity quantifies how widely an AI search engine spreads its citations — a single number that exposes hidden algorithmic bias toward dominant domains.
Applied Sciences · Engineering
ソース多様性(Source Diversity)— 引用元の偏りを測る指標
ソース多様性 = ユニークドメイン数 ÷ 総引用数。0〜1の値をとり、1に近いほど多様なサイトから引用している。低い値は特定ドメインへの偏重(concentration)を示す。
なぜ重要か
- ビジネス観点:低い値はエンジンがWikipediaや大型アグリゲーターを優遇している証拠で、自社サイトが引用される確率が下がる。
- 学術観点:検索エンジンの取得ポリシーのバイアスを反映。Yang et al.(2025)はプロバイダー内の引用類似度が0.82〜0.99と報告。
- C2「ソース信頼性バイアス」の逆指標——多様性が低いほど特定ソースへの依存が高い。
計算式と具体例
- 計算式:ユニークドメイン数 ÷ 総引用数。
- 引用100件・ユニーク80ドメイン → 0.80(多様)。
- 引用50件・ユニーク12ドメイン → 0.24(偏重)。
実測例(600問での比較)
- Gemini:1,800引用 / 900ユニーク → 0.50(最も多様)。
- Claude WebSearch:3,600 / 1,200 → 0.33(1ドメインが平均3回引用)。
- Copilot(Bing):6,600 / 800 → 0.12(Wikipedia・大手SEOサイトに集中)。
プロジェクトでの使用方法
- ai-search評価プロジェクトの全600クエリを対象に計測。
- エンジン × 業種(10セクター)でクロス集計し、セクターごとの引用偏重を観察。
→ ソース多様性は、AIサーチエンジンが引用元をどれだけ広く分散させているかを1つの数値で示し、支配的ドメインへのアルゴリズム的バイアスを可視化する。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains