ダブルクリックで英日反転
Applied Sciences · Engineering
Jaccard Similarity — measuring set overlap on a 0–1 scale
Jaccard similarity is "shared elements ÷ all elements" for two sets. It runs from 0 (no overlap) to 1 (perfect match) and ignores element order entirely.
The formula
- J(A, B) = |A ∩ B| ÷ |A ∪ B|
- Numerator: elements both sets share. Denominator: all unique elements combined.
- Example: A={apple, mandarin, banana}, B={apple, banana, grape} → J = 2÷4 = 0.50
Why it matters
- Measures "agreement as a set" rather than "ranking" — order is irrelevant.
- Score stays high as long as the line-up is the same, even if ranking has shifted.
AI search evaluation use cases
- ⑦ Citation overlap rate: how much the same domains are shared between engines.
- ⑩ Citation consistency: whether the same domains are pulled in week by week (test-retest reliability).
Weaknesses & variants
- Weak to size asymmetry: if |A|=100 and |B|=10 with all B in A, J is still only 0.10.
- Overlap coefficient (÷ min set size) is fairer for size-asymmetric comparisons.
- Weighted Jaccard adds citation-frequency weights (Ioffe 2010).
- Shingling + Jaccard is a classic method for textual similarity too.
→ When you need a simple, order-free measure of how much two sets agree, reach for Jaccard.
Applied Sciences · Engineering
Jaccard類似度（ジャカード類似度）— 集合の重なりを0〜1で測る指標
Jaccard類似度とは「共通要素の数 ÷ 全ユニーク要素の数」で求まる集合間の一致度。0（完全不一致）〜1（完全一致）の範囲で、要素の順序を一切問わない。
計算式
- J(A, B) = |A ∩ B| ÷ |A ∪ B|
- 分子：両集合が共有する要素数。分母：両集合を合わせた全ユニーク要素数。
- 例：A={apple, mandarin, banana}、B={apple, banana, grape} → J = 2÷4 = 0.50
なぜ重要か
- 「順位」ではなく「集合としての一致」を測るため、順序変動の影響を受けない。
- ラインナップが同じであれば、ランキングが入れ替わってもスコアは維持される。
AI検索評価での活用例
- ⑦ 引用重複率：エンジン間で同じドメインがどれだけ共有されているかを計測。
- ⑩ 引用一貫性：週をまたいで同じドメインが引用されるかを追跡（再テスト信頼性の代理指標）。
弱点とバリアント（派生指標）
- 集合サイズの非対称に弱い：|A|=100、|B|=10 でBが全てAに含まれてもJ=0.10止まり。
- Overlap coefficient（÷ min集合サイズ）はサイズ差が大きい比較に適している。
- Weighted Jaccard（重み付きジャカード）は引用頻度の重みを加味した拡張版（Ioffe 2010）。
- シングリング（shingling＝テキストをn-gram断片に分割する前処理）+Jaccard はテキスト類似度の古典的手法。
→ 順序を問わず「二つの集合がどれだけ一致するか」をシンプルに測りたい時は Jaccard 類似度を使う。
Applied Sciences · Engineering
Jaccard Similarity — measuring set overlap on a 0–1 scale
Jaccard similarity is "shared elements ÷ all elements" for two sets. It runs from 0 (no overlap) to 1 (perfect match) and ignores element order entirely.
The formula
- J(A, B) = |A ∩ B| ÷ |A ∪ B|
- Numerator: elements both sets share. Denominator: all unique elements combined.
- Example: A={apple, mandarin, banana}, B={apple, banana, grape} → J = 2÷4 = 0.50
Why it matters
- Measures "agreement as a set" rather than "ranking" — order is irrelevant.
- Score stays high as long as the line-up is the same, even if ranking has shifted.
AI search evaluation use cases
- ⑦ Citation overlap rate: how much the same domains are shared between engines.
- ⑩ Citation consistency: whether the same domains are pulled in week by week (test-retest reliability).
Weaknesses & variants
- Weak to size asymmetry: if |A|=100 and |B|=10 with all B in A, J is still only 0.10.
- Overlap coefficient (÷ min set size) is fairer for size-asymmetric comparisons.
- Weighted Jaccard adds citation-frequency weights (Ioffe 2010).
- Shingling + Jaccard is a classic method for textual similarity too.
→ When you need a simple, order-free measure of how much two sets agree, reach for Jaccard.
Applied Sciences · Engineering
Jaccard類似度（ジャカード類似度）— 集合の重なりを0〜1で測る指標
Jaccard類似度とは「共通要素の数 ÷ 全ユニーク要素の数」で求まる集合間の一致度。0（完全不一致）〜1（完全一致）の範囲で、要素の順序を一切問わない。
計算式
- J(A, B) = |A ∩ B| ÷ |A ∪ B|
- 分子：両集合が共有する要素数。分母：両集合を合わせた全ユニーク要素数。
- 例：A={apple, mandarin, banana}、B={apple, banana, grape} → J = 2÷4 = 0.50
なぜ重要か
- 「順位」ではなく「集合としての一致」を測るため、順序変動の影響を受けない。
- ラインナップが同じであれば、ランキングが入れ替わってもスコアは維持される。
AI検索評価での活用例
- ⑦ 引用重複率：エンジン間で同じドメインがどれだけ共有されているかを計測。
- ⑩ 引用一貫性：週をまたいで同じドメインが引用されるかを追跡（再テスト信頼性の代理指標）。
弱点とバリアント（派生指標）
- 集合サイズの非対称に弱い：|A|=100、|B|=10 でBが全てAに含まれてもJ=0.10止まり。
- Overlap coefficient（÷ min集合サイズ）はサイズ差が大きい比較に適している。
- Weighted Jaccard（重み付きジャカード）は引用頻度の重みを加味した拡張版（Ioffe 2010）。
- シングリング（shingling＝テキストをn-gram断片に分割する前処理）+Jaccard はテキスト類似度の古典的手法。
→ 順序を問わず「二つの集合がどれだけ一致するか」をシンプルに測りたい時は Jaccard 類似度を使う。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average