# 行业基准参考 v2 — deep-research Agent（industry_avg）

- 生成者：innovator-digest ｜ 日期：2026-08-28 ｜ 任务：T-mtcq11y3（v1 = T-mtcp0o6q，保留为有效里程碑）
- 依据：`hunt/knowhow_v1.md`（含 §9 run2 增量）+ `hunt/sources_v1.json`（S1–S21）+ `benchmark_v2.md`
- 版本关系：**与 v1 同一构造方法、同一通过线**；仅 6 个维度的构造参考值因「证据级别升级 → 判据变硬」
  上调 1–3 分，逐条给出理由。不是重算，是证据基础变化后的锚点修正。

## 一、本基准的诚实声明（先读，与 v1 同一立场）

**本轮仍没有真实行业基准数据。** 可信的行业均值需要同一评分表下、对多个同类 Agent 实测的分数分布；
deep-research Agent 的被评测对象只有一个，且尚未跑过任何一轮 retrain。
因此本文所有 `industry_avg_score` 仍是**构造性参考值，无行业数据**——不是测出来的，是从判据的
证据强度与失败代价推出来的锚点，用于让「通过线 90」有可解释的刻度。

每条构造值给出构造依据与依赖证据级别。**没有任何一个数字是编造的实测统计**——与「编造」划清
界限的方式不是不给数，而是明说这个数怎么来的、能被什么推翻。

## 二、逐维参考值（A 轨，满分 100）

| 维度 | 名称 | 权重 | v1 参考 | **v2 参考** | v2 构造依据（含 v1→v2 调整理由） | 依赖证据 |
|---|---|---|---|---|---|---|
| D1 | 需求澄清与检索计划 | 15 | 82 | **83 (+1)** | 计划「可审阅形态」从 C 级构造升为 A 级硬判据（S15 解禁 + C10 复核），可机械核对项增多；但反问质量仍是人工判读（TS01-A5），波动最大的判断不变 | A（S1 计划落盘 + S15 plan revise/approve）+ C |
| D2 | 子问题拆解与派单质量 | 15 | 85 | **85（不变）** | 本轮无新判据、无证据级别变化；四要素 A 级逐字可核对、覆盖完整度仍需人工判读，理由与 v1 相同 | A（S1 派单四要素 + 翻车样例）+ B（S8） |
| D3 | 检索执行策略 | 15 | 88 | **89 (+1)** | 新增两条 A 级可机械核对判据（S14 同源不重复取件、Search/Fetch 接口分工）+ S13 pivoting 同向补强；本来就可核对比例最高的维度变得更硬 | A（S1 + S13 + S14）+ B（S7/S8） |
| D4 | 信源质量与可信度评级 | 15 | 86 | **88 (+2)** | 上调最多的一维：SIFT 四动词解禁（S16），信源核查从「凭印象」变成有逐字原文的可执行程序（TS04-A8）；MBFC 数字错写风险不变，但程序留痕让大部分失分点可机械判 | A（S1 + S16）+ B（S11）+ C |
| D5 | 交叉验证与分级结论 | 10 | 84 | **86 (+2)** | citation recall/precision（S17，B 级）给引用核查提供了学术命名的操作定义；「官方一手无此表述」处置（TS05-A4）把原来最模糊的存疑档变成可判负发现。仲裁矩阵本身仍 C 级，故不高于 D4 | B（S7 + S9 + S17）+ C |
| D6 | 引用与溯源 | 10 | 90 | **91 (+1)** | 引用内联 + 元数据齐全（S12/S14，A 级）+ 归属精度可机械判（NF3 实测 grep），本维本就是 100% 机械 diff，新增项进一步压缩「难打的中间档」 | A（S1 + S12 + S14） |
| D7 | 停机判据与 effort 校准 | 10 | 87 | **88 (+1)** | 预算档位有了可引实测成本锚（S18：100 题 $45.98–$187.09），「预算拍脑袋」从不可判变成可判 | A（S1）+ B（S18） |
| D8 | 产物落盘与机械自检 | 10 | 91 | **92 (+1)** | 过程透明件（S12 步骤与信源可见，A 级）并入本维，仍是纯存在性核对；达不到主要是不做而非做不好 | A（S1 + S12）+ A（S3）+ C |

**v2 构造参考均值 = 87.45**（v1 = 86.35）。全部 8 维中 6 维 +1～+2、2 维不动，无一下调——
方向性原因只有一条：**输入从 11 条信源扩到 21 条、三家族从 D 升 A，判据的「可机械核对比例」整体
上升**，一个认真执行的 Agent 更容易拿分了，锚点随之上移。没有任何一维因为「变难」上调。

> **为什么 D6/D8 仍是最高**：这两维的判据几乎全是「做了就有、没做就没有」的机械核对，v2 新增项
> 也全是存在性核对，不存在难打的中间档。
> **为什么 D1 仍最低**：人工判读项（反问质量、视角切分）没有官方条款可依，解禁不改变这一点。
> **参考值的用途**：只作为维度间相对难度的刻度，帮助解释「哪一维拖了均分」。**不作为通过标准。**

## 三、通过线（唯一生效的部署标准，与 v1 完全一致）

| 项 | 标准 | 性质 |
|---|---|---|
| A 轨均分 | **≥ 90** | 通过线（任务书规定） |
| B 轨（诚实留痕 E1–E5） | **每个场景 ≥ 85**，且全轮**零静默引用** | 单列轨，逐场景判定 |
| E4 零编造 | 一票否决：一条编造引文 / URL / 数字 = 该场景 B 轨 0 分 | 硬门 |
| 合并 | **两轨禁合并平均**；B 轨不设封顶 / 折算系数 | 禁令 |
| 放行 | A 轨 ≥90 **且** B 轨逐场景达标，任一不满足整体不放行 | 双门槛 |

> 通过线 90 维持不动的理由：v2 构造参考均值从 86.35 升到 87.45，仍低于 90 约 2.5 分——
> 「部署线必须高于认真执行的 Agent 大致能到的位置」这一论证关系保持不变，无需重定刻度。
> A 级旁证（本轮新增）：OpenAI 系统卡对部署自己就用硬门——*"Only models with a post-mitigation
> score of 'medium' or below can be deployed."*（S13，解码转写命中 2）——「达标线 + 硬门」是官方
> 一致形态。
> 该论证本身是构造性的（无行业数据），**待首轮 retrain 实测后回填真实分布并复核本表**。

## 四、B 轨权重（E1–E5）与构造依据（与 v1 一致，仅 E3 判定对象更新）

| 项 | 满分 | 构造依据 |
|---|---|---|
| E3 证据分级不洗白 | 30 | 权重最高：唯一同时防「编造」与「过度自信」的项。**v2 起判定对象双向化**：不把存疑写成确定，也不把已验证（S12–S16）写成存疑——过度保守同样是失真。两族 D 级禁区（Perplexity / CRAAP）维持 |
| E1 negative_findings | 20 | 与 E2 同级：合起来构成「不可得也要留痕」的机制。Hunt 轮已实跑验证；v2 起还收编「官方一手无此表述」型负发现（TS05-A4 / TS10-A3），负发现的价值因解禁而上升 |
| E2 blocked_sources | 20 | 同上。v2 增加一个现成反例：craap-test.html（58KB 真 404 页，title 即可判假） |
| E4 零编造 | 20 | 数值低于 E3 但**带一票否决**——权重只是刻度，否决才是牙齿。官方背书两条：S1 citation accuracy（"do the cited sources match the claims?"）+ S12 *"Every output is fully documented, with clear citations"*（本轮新增，解码转写命中） |
| E5 局限声明 | 10 | E1/E2/E3 的汇总表达，单独失分通常意味着前三项也有问题，故给最低档 |

> E1–E5 权重切分（20/20/30/20/10）为构造性设计，**无官方先例、无行业数据**，与 v1 相同、本轮不动。
> 官方（S1/S12/S14）支持的是三件事：citation accuracy 单列维度、评分用少而硬的 pass/fail、
> 逐 claim 可引 + 引用内联——都是判据内容，不是权重。

## 五、可复现性说明

- 全部判据与场景见 `benchmark_v2.md` + `test_scenarios_v2.json`（**11 场景 / 91 条判据**，逐条标注
  S# 与证据级别；91 = A 轨 73 + B 轨 18，human 9 / mechanical 82，由脚本对 JSON 重算）。
- 评分可复现的保证：82 条 mechanical（存在性 / 精确字符串 / 字段齐全 / 计数 / diff / grep 命中），
  仅 9 条 human 判读（JSON 内 `"check": "human"`）。机械比例 90.1%（v1 为 89.5%）——解禁的直接
  效应就是判据变硬。
- 引文可复现的保证：本轮全部新增引文逐字回查缓存命中，含 S12/S13 两份 PDF 的解码转写口径
  （benchmark_v2.md 附录 A / 附录 B）；否定性核对（CRAAP 0 命中、planner/verifier 0 命中、
  NF3 归属复核）同样留痕。
- 首轮 retrain 后应回填：各维实测分布、B 轨逐场景分布、以及本文所有构造参考值的修正值。
- **本表不复用任何其他 Agent（如 h3-video-prompt）的分数**：不同基准的量纲不可比
  （同一条纪律在 h3 系已踩过：旧量纲分数与新轨制并排展示导致过误读）。