ダブルクリックで英日反転
Applied Sciences · Engineering
AI Search Evaluation ⑧ Latency — Average Response Time in Seconds
Latency measures the average seconds from API request to final response. It is both a direct user-experience signal and a precondition for multi-hop agentic tasks.
Why It Matters
- Business: AI search's edge over SERP is speed — if it takes 10 s, users drop off.
- Academic: high latency causes timeouts and blows cost budgets on multi-hop tasks (C4).
- HELM adopts latency as an efficiency indicator alongside accuracy metrics.
Formula & Reporting
- Latency = Σ(response seconds) ÷ (request count)
- Report p50 and p95 separately to expose the effect of outliers.
- Count and report timeouts separately as a timeout rate.
Worked Example (Hypothetical)
- ChatGPT Search (gpt-4o-mini): avg 3.2 s / p95 5.1 s
- Gemini 2.5 Flash: avg 2.8 s / p95 4.4 s
- Claude Opus 4.6 (WebSearch): avg 8.5 s / p95 14.2 s — read as an accuracy trade-off.
- AI Overview (SERP scrape): 4.0 s including SERP retrieval time.
Use in the AI-Search Project
- Measured for all 600 target queries via the collector script (ms precision).
- SERP-scrape engines include Bright Data retrieval time.
- Treated as a precondition for C4 (Agent Task Completion Fidelity), not a standalone construct.
→ Always report p50 + p95 + timeout rate; latency is a UX gate and an agentic-task precondition, not just a speed number.
Applied Sciences · Engineering
AI検索評価 ⑧ レイテンシ（応答時間）— 平均秒数で測るスピード指標
レイテンシ（＝APIリクエストから最終応答受信までの平均秒数）はユーザー体験の直接指標であり、マルチホップのエージェント型タスク成立の前提条件でもある。
なぜ重要か
- ビジネス面: AI検索のSERP（検索結果ページ）に対する優位性は速さ。10秒かかれば離脱につながる。
- 学術面: レイテンシが高いとC4（エージェントタスク完遂率）でタイムアウトやコスト超過が起きやすい。
- HELM（大規模言語モデル総合評価フレームワーク）も効率指標として採用。
計算式と報告方法
- Latency = Σ（応答秒数） ÷ リクエスト数
- 外れ値の影響を見るため、p50（中央値）とp95（上位5%境界）を別々に報告する。
- タイムアウトは件数と割合を別枠で集計・報告する。
仮想シナリオ例
- ChatGPT Search (gpt-4o-mini): 平均3.2秒 / p95 5.1秒
- Gemini 2.5 Flash: 平均2.8秒 / p95 4.4秒
- Claude Opus 4.6 (WebSearch): 平均8.5秒 / p95 14.2秒 — 精度との トレードオフとして解釈。
- AI Overview（SERPスクレイプ）: 4.0秒（SERP取得時間込み）
プロジェクト内での扱い
- 対象クエリ全600問に対し、コレクタースクリプトでミリ秒精度で計測。
- SERPスクレイプ系エンジンはBright Dataの取得時間も含む。
- 単独構成概念（construct）ではなく、C4の前提条件として位置付ける。
→ p50・p95・タイムアウト率を必ずセットで報告。レイテンシはUXの関門であり、エージェント型タスクの成立条件でもある。
Applied Sciences · Engineering
AI Search Evaluation ⑧ Latency — Average Response Time in Seconds
Latency measures the average seconds from API request to final response. It is both a direct user-experience signal and a precondition for multi-hop agentic tasks.
Why It Matters
- Business: AI search's edge over SERP is speed — if it takes 10 s, users drop off.
- Academic: high latency causes timeouts and blows cost budgets on multi-hop tasks (C4).
- HELM adopts latency as an efficiency indicator alongside accuracy metrics.
Formula & Reporting
- Latency = Σ(response seconds) ÷ (request count)
- Report p50 and p95 separately to expose the effect of outliers.
- Count and report timeouts separately as a timeout rate.
Worked Example (Hypothetical)
- ChatGPT Search (gpt-4o-mini): avg 3.2 s / p95 5.1 s
- Gemini 2.5 Flash: avg 2.8 s / p95 4.4 s
- Claude Opus 4.6 (WebSearch): avg 8.5 s / p95 14.2 s — read as an accuracy trade-off.
- AI Overview (SERP scrape): 4.0 s including SERP retrieval time.
Use in the AI-Search Project
- Measured for all 600 target queries via the collector script (ms precision).
- SERP-scrape engines include Bright Data retrieval time.
- Treated as a precondition for C4 (Agent Task Completion Fidelity), not a standalone construct.
→ Always report p50 + p95 + timeout rate; latency is a UX gate and an agentic-task precondition, not just a speed number.
Applied Sciences · Engineering
AI検索評価 ⑧ レイテンシ（応答時間）— 平均秒数で測るスピード指標
レイテンシ（＝APIリクエストから最終応答受信までの平均秒数）はユーザー体験の直接指標であり、マルチホップのエージェント型タスク成立の前提条件でもある。
なぜ重要か
- ビジネス面: AI検索のSERP（検索結果ページ）に対する優位性は速さ。10秒かかれば離脱につながる。
- 学術面: レイテンシが高いとC4（エージェントタスク完遂率）でタイムアウトやコスト超過が起きやすい。
- HELM（大規模言語モデル総合評価フレームワーク）も効率指標として採用。
計算式と報告方法
- Latency = Σ（応答秒数） ÷ リクエスト数
- 外れ値の影響を見るため、p50（中央値）とp95（上位5%境界）を別々に報告する。
- タイムアウトは件数と割合を別枠で集計・報告する。
仮想シナリオ例
- ChatGPT Search (gpt-4o-mini): 平均3.2秒 / p95 5.1秒
- Gemini 2.5 Flash: 平均2.8秒 / p95 4.4秒
- Claude Opus 4.6 (WebSearch): 平均8.5秒 / p95 14.2秒 — 精度との トレードオフとして解釈。
- AI Overview（SERPスクレイプ）: 4.0秒（SERP取得時間込み）
プロジェクト内での扱い
- 対象クエリ全600問に対し、コレクタースクリプトでミリ秒精度で計測。
- SERPスクレイプ系エンジンはBright Dataの取得時間も含む。
- 単独構成概念（construct）ではなく、C4の前提条件として位置付ける。
→ p50・p95・タイムアウト率を必ずセットで報告。レイテンシはUXの関門であり、エージェント型タスクの成立条件でもある。
Related notes
- Agentic Commerce — ACP and Visibility into Being 'Bought by AI'
- AI Search Evaluation: The 12 Metrics — Gateway
- AI Search Evaluation ①Citation Rate — How Many URLs Are Pulled In Per Answer
- AI Search Evaluation ②Source Diversity — How Unskewed the Cited Sources Are
- AI Search Evaluation ③Accuracy Score — How Often It Answers Factual Questions Correctly
- AI Search Evaluation ④Answer Length — How Many Characters It Returns to the User on Average