ダブルクリックで英日反転
Applied Sciences · Engineering
AI Search Evaluation ③ — Accuracy Score
Accuracy Score is the correct-answer rate on factual queries (0–1). It measures how often an AI search engine fully contains the ground-truth key facts and cites a verifiable source.
Why It Matters
- Business: a low-accuracy engine risks spreading misinformation about your company.
- Academic: maps to the verifiability score in Liu et al. (2023) and the C1 Citation Fidelity construct.
- A citation is meaningless unless it actually supports the claim made in the answer body.
Formula
- Accuracy = (answers fully containing key_facts) ÷ (total factual questions)
- An answer is "correct" if it contains all key_facts AND cites at least one verification_url domain.
- Hallucination rate is measured in parallel: answers with no key_facts or a fabricated URL.
Worked Example (77 questions)
- ChatGPT Search: 70/77 correct → 0.91
- Gemini: 58/77 → 0.75
- AI Overview (SERP): 45/77 → 0.58 — over 1 in 3 answers factually wrong or uncited.
- On YMYL (medical/financial/legal) topics, 0.58 accuracy is considered fatal.
Project Usage
- Target queries: factual-static + factoid (68) + YMYL (9) = 77 questions.
- Partial matches scored by F1; procedure in f1-scoring-test-cases-2026-05-29.md.
- Serves as the headline metric for the C1 Citation Fidelity construct.
→ Accuracy Score quantifies factual trustworthiness; below ~0.75, misinformation risk becomes operationally significant.
Applied Sciences · Engineering
AI検索評価 ③ — 正確性スコア（Accuracy Score）
正確性スコアは、事実を問うクエリに対してAI検索エンジンが正しく答えられた割合（0〜1）。ground_truthのkey_factsを完全に含み、検証可能なソースを引用して初めて「正解」と判定される。
重要な理由
- ビジネス面: 低正確性エンジンは自社情報の誤情報拡散リスクを生む。
- 学術面: Liu et al. (2023) の検証可能性スコアおよびC1 Citation Fidelity（引用忠実性）構成概念に対応。
- 本文の主張を裏づけない引用は意味をなさない、という原則に基づく。
計算式
- 正確性 ＝ key_factsを完全に含む回答数 ÷ factual問数
- 正解条件: 全key_factsを含む ＋ verification_urlドメインを1件以上引用。
- ハルシネーション率（key_facts不含または架空URLを含む回答の割合）を並行測定。
計算例（77問スコープ）
- ChatGPT Search: 70/77正解 → 0.91
- Gemini: 58/77 → 0.75
- AI Overview（SERP）: 45/77 → 0.58 — 3問に1問以上が事実誤りまたは引用なし。
- YMYL（医療・金融・法律）領域では0.58は致命的水準と見なされる。
プロジェクトでの使用方法
- 対象: factual-static＋factoid 68問 ＋ YMYL 9問 ＝ 77問。
- 部分一致はF1スコアで評価（手順: f1-scoring-test-cases-2026-05-29.md）。
- C1 Citation Fidelity構成概念の主要指標として機能。
→ 正確性スコアは事実的信頼性を数値化する指標。0.75を下回ると誤情報リスクが業務上無視できないレベルになる。
Applied Sciences · Engineering
AI Search Evaluation ③ — Accuracy Score
Accuracy Score is the correct-answer rate on factual queries (0–1). It measures how often an AI search engine fully contains the ground-truth key facts and cites a verifiable source.
Why It Matters
- Business: a low-accuracy engine risks spreading misinformation about your company.
- Academic: maps to the verifiability score in Liu et al. (2023) and the C1 Citation Fidelity construct.
- A citation is meaningless unless it actually supports the claim made in the answer body.
Formula
- Accuracy = (answers fully containing key_facts) ÷ (total factual questions)
- An answer is "correct" if it contains all key_facts AND cites at least one verification_url domain.
- Hallucination rate is measured in parallel: answers with no key_facts or a fabricated URL.
Worked Example (77 questions)
- ChatGPT Search: 70/77 correct → 0.91
- Gemini: 58/77 → 0.75
- AI Overview (SERP): 45/77 → 0.58 — over 1 in 3 answers factually wrong or uncited.
- On YMYL (medical/financial/legal) topics, 0.58 accuracy is considered fatal.
Project Usage
- Target queries: factual-static + factoid (68) + YMYL (9) = 77 questions.
- Partial matches scored by F1; procedure in f1-scoring-test-cases-2026-05-29.md.
- Serves as the headline metric for the C1 Citation Fidelity construct.
→ Accuracy Score quantifies factual trustworthiness; below ~0.75, misinformation risk becomes operationally significant.
Applied Sciences · Engineering
AI検索評価 ③ — 正確性スコア（Accuracy Score）
正確性スコアは、事実を問うクエリに対してAI検索エンジンが正しく答えられた割合（0〜1）。ground_truthのkey_factsを完全に含み、検証可能なソースを引用して初めて「正解」と判定される。
重要な理由
- ビジネス面: 低正確性エンジンは自社情報の誤情報拡散リスクを生む。
- 学術面: Liu et al. (2023) の検証可能性スコアおよびC1 Citation Fidelity（引用忠実性）構成概念に対応。
- 本文の主張を裏づけない引用は意味をなさない、という原則に基づく。
計算式
- 正確性 ＝ key_factsを完全に含む回答数 ÷ factual問数
- 正解条件: 全key_factsを含む ＋ verification_urlドメインを1件以上引用。
- ハルシネーション率（key_facts不含または架空URLを含む回答の割合）を並行測定。
計算例（77問スコープ）
- ChatGPT Search: 70/77正解 → 0.91
- Gemini: 58/77 → 0.75
- AI Overview（SERP）: 45/77 → 0.58 — 3問に1問以上が事実誤りまたは引用なし。
- YMYL（医療・金融・法律）領域では0.58は致命的水準と見なされる。
プロジェクトでの使用方法
- 対象: factual-static＋factoid 68問 ＋ YMYL 9問 ＝ 77問。
- 部分一致はF1スコアで評価（手順: f1-scoring-test-cases-2026-05-29.md）。
- C1 Citation Fidelity構成概念の主要指標として機能。
→ 正確性スコアは事実的信頼性を数値化する指標。0.75を下回ると誤情報リスクが業務上無視できないレベルになる。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average
- AI Search Evaluation ⑤Japanese Domain Ratio — How Often It Pulls In .jp-Family Domains