ダブルクリックで英日反転
Applied Sciences · Engineering
Variant Query Design — Change Only One Element to Isolate Its Effect
A variant set is a group of queries built from one template by swapping a single slot — here, the place name. Holding everything else fixed lets you attribute any difference in AI search output purely to that one dimension.
Core Concept
- Template + slot: swap only the region while the sector and intent stay fixed.
- Follows the scientific principle of isolating one independent variable.
- Academic family: perturbation analysis, invariance test, minimal pair.
What Regional Variants Reveal
- Regional sensitivity: do cited domains and brand mentions actually shift with the place name?
- Local brand visibility: is a regional chain mentioned only in queries for that region?
- Japanese domain ratio: does reliance on 食べログ / ぐるなび differ between Tokyo and regional cities?
The 106-Question Set (gv001–gv106)
- 6 sectors: restaurant (25), medical (20), real estate (20), travel (15), legal (10), education (10).
- Mixes major cities, designated cities, regional cores, and tourist destinations to avoid urban bias.
- Exploratory (n=106) — a complement to the main 600 questions, not confirmatory testing.
Caveats
- City names differ in character count / vowels, so surface effects can't be fully separated from regional effects.
- Covers only named cities — results don't generalise to rural or un-named locations.
- Interpret as descriptive statistics suggesting regional sensitivity, not hypothesis confirmation.
→ Swap only one slot, observe the delta — that is the minimal, replicable unit of AI search measurement.
Applied Sciences · Engineering
バリアントクエリ設計 — 一要素だけを変えて効果を分離する
バリアント（variant＝変形版クエリ群）は、テンプレートから一つのスロットだけを差し替えて生成するクエリセットです。今回は「地域名」だけを変え、AI検索の出力差を地域要因に帰属させます。
基本概念
- テンプレート＋スロット方式：業種・意図を固定したまま地域名だけを入れ替える。
- 科学実験の原則「独立変数（＝操作する要因）を一つに絞る」をNLP評価に適用。
- 学術的系譜：perturbation analysis（摂動解析）・invariance test・minimal pair。
地域バリアントが測定するもの
- 地域感度（regional sensitivity）：地名を変えるだけで引用ドメインやブランド言及率が変化するか。
- ローカルブランド可視性：地域チェーン店がその地域クエリでのみ言及されるか。
- 日本語ドメイン比率：食べログ／ぐるなびへの依存度が東京と地方都市で異なるか。
106問の構成（gv001–gv106）
- 6業種：飲食(25)・医療(20)・不動産(20)・旅行(15)・法律(10)・教育(10)。
- 都市バイアス（＝大都市だけに偏ること）を避け、政令市・地方中核市・観光地を混在。
- n=106は探索的（exploratory）。仮説検定でなく主600問の補完的記述統計。
注意点
- 地名ごとに文字数・母音数が異なるため、地域効果と表層効果（トークナイザ挙動の違い）を完全に分離するのは難しい。
- 主要都市のみ対象のため、農村部や無名地域への一般化は不可。
- 結果は地域感度の「存在示唆」に留まり、確証的な仮説検証には不十分。
→ スロットを一つだけ差し替え、出力の差分を見る――それがAI検索測定の最小再現単位。
Applied Sciences · Engineering
Variant Query Design — Change Only One Element to Isolate Its Effect
A variant set is a group of queries built from one template by swapping a single slot — here, the place name. Holding everything else fixed lets you attribute any difference in AI search output purely to that one dimension.
Core Concept
- Template + slot: swap only the region while the sector and intent stay fixed.
- Follows the scientific principle of isolating one independent variable.
- Academic family: perturbation analysis, invariance test, minimal pair.
What Regional Variants Reveal
- Regional sensitivity: do cited domains and brand mentions actually shift with the place name?
- Local brand visibility: is a regional chain mentioned only in queries for that region?
- Japanese domain ratio: does reliance on 食べログ / ぐるなび differ between Tokyo and regional cities?
The 106-Question Set (gv001–gv106)
- 6 sectors: restaurant (25), medical (20), real estate (20), travel (15), legal (10), education (10).
- Mixes major cities, designated cities, regional cores, and tourist destinations to avoid urban bias.
- Exploratory (n=106) — a complement to the main 600 questions, not confirmatory testing.
Caveats
- City names differ in character count / vowels, so surface effects can't be fully separated from regional effects.
- Covers only named cities — results don't generalise to rural or un-named locations.
- Interpret as descriptive statistics suggesting regional sensitivity, not hypothesis confirmation.
→ Swap only one slot, observe the delta — that is the minimal, replicable unit of AI search measurement.
Applied Sciences · Engineering
バリアントクエリ設計 — 一要素だけを変えて効果を分離する
バリアント（variant＝変形版クエリ群）は、テンプレートから一つのスロットだけを差し替えて生成するクエリセットです。今回は「地域名」だけを変え、AI検索の出力差を地域要因に帰属させます。
基本概念
- テンプレート＋スロット方式：業種・意図を固定したまま地域名だけを入れ替える。
- 科学実験の原則「独立変数（＝操作する要因）を一つに絞る」をNLP評価に適用。
- 学術的系譜：perturbation analysis（摂動解析）・invariance test・minimal pair。
地域バリアントが測定するもの
- 地域感度（regional sensitivity）：地名を変えるだけで引用ドメインやブランド言及率が変化するか。
- ローカルブランド可視性：地域チェーン店がその地域クエリでのみ言及されるか。
- 日本語ドメイン比率：食べログ／ぐるなびへの依存度が東京と地方都市で異なるか。
106問の構成（gv001–gv106）
- 6業種：飲食(25)・医療(20)・不動産(20)・旅行(15)・法律(10)・教育(10)。
- 都市バイアス（＝大都市だけに偏ること）を避け、政令市・地方中核市・観光地を混在。
- n=106は探索的（exploratory）。仮説検定でなく主600問の補完的記述統計。
注意点
- 地名ごとに文字数・母音数が異なるため、地域効果と表層効果（トークナイザ挙動の違い）を完全に分離するのは難しい。
- 主要都市のみ対象のため、農村部や無名地域への一般化は不可。
- 結果は地域感度の「存在示唆」に留まり、確証的な仮説検証には不十分。
→ スロットを一つだけ差し替え、出力の差分を見る――それがAI検索測定の最小再現単位。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average