行业基准参考 v2 — deep-research Agent(industry_avg)
- 生成者:innovator-digest | 日期:2026-08-28 | 任务:T-mtcq11y3(v1 = T-mtcp0o6q,保留为有效里程碑)
- 依据:
hunt/knowhow_v1.md(含 §9 run2 增量)+hunt/sources_v1.json(S1–S21)+benchmark_v2.md - 版本关系:与 v1 同一构造方法、同一通过线;仅 6 个维度的构造参考值因「证据级别升级 → 判据变硬」 上调 1–3 分,逐条给出理由。不是重算,是证据基础变化后的锚点修正。
一、本基准的诚实声明(先读,与 v1 同一立场)
本轮仍没有真实行业基准数据。 可信的行业均值需要同一评分表下、对多个同类 Agent 实测的分数分布;
deep-research Agent 的被评测对象只有一个,且尚未跑过任何一轮 retrain。
因此本文所有 industry_avg_score 仍是构造性参考值,无行业数据——不是测出来的,是从判据的
证据强度与失败代价推出来的锚点,用于让「通过线 90」有可解释的刻度。
每条构造值给出构造依据与依赖证据级别。没有任何一个数字是编造的实测统计——与「编造」划清 界限的方式不是不给数,而是明说这个数怎么来的、能被什么推翻。
二、逐维参考值(A 轨,满分 100)
| 维度 | 名称 | 权重 | v1 参考 | v2 参考 | v2 构造依据(含 v1→v2 调整理由) | 依赖证据 |
|---|---|---|---|---|---|---|
| D1 | 需求澄清与检索计划 | 15 | 82 | 83 (+1) | 计划「可审阅形态」从 C 级构造升为 A 级硬判据(S15 解禁 + C10 复核),可机械核对项增多;但反问质量仍是人工判读(TS01-A5),波动最大的判断不变 | A(S1 计划落盘 + S15 plan revise/approve)+ C |
| D2 | 子问题拆解与派单质量 | 15 | 85 | 85(不变) | 本轮无新判据、无证据级别变化;四要素 A 级逐字可核对、覆盖完整度仍需人工判读,理由与 v1 相同 | A(S1 派单四要素 + 翻车样例)+ B(S8) |
| D3 | 检索执行策略 | 15 | 88 | 89 (+1) | 新增两条 A 级可机械核对判据(S14 同源不重复取件、Search/Fetch 接口分工)+ S13 pivoting 同向补强;本来就可核对比例最高的维度变得更硬 | A(S1 + S13 + S14)+ B(S7/S8) |
| D4 | 信源质量与可信度评级 | 15 | 86 | 88 (+2) | 上调最多的一维:SIFT 四动词解禁(S16),信源核查从「凭印象」变成有逐字原文的可执行程序(TS04-A8);MBFC 数字错写风险不变,但程序留痕让大部分失分点可机械判 | A(S1 + S16)+ B(S11)+ C |
| D5 | 交叉验证与分级结论 | 10 | 84 | 86 (+2) | citation recall/precision(S17,B 级)给引用核查提供了学术命名的操作定义;「官方一手无此表述」处置(TS05-A4)把原来最模糊的存疑档变成可判负发现。仲裁矩阵本身仍 C 级,故不高于 D4 | B(S7 + S9 + S17)+ C |
| D6 | 引用与溯源 | 10 | 90 | 91 (+1) | 引用内联 + 元数据齐全(S12/S14,A 级)+ 归属精度可机械判(NF3 实测 grep),本维本就是 100% 机械 diff,新增项进一步压缩「难打的中间档」 | A(S1 + S12 + S14) |
| D7 | 停机判据与 effort 校准 | 10 | 87 | 88 (+1) | 预算档位有了可引实测成本锚(S18:100 题 $45.98–$187.09),「预算拍脑袋」从不可判变成可判 | A(S1)+ B(S18) |
| D8 | 产物落盘与机械自检 | 10 | 91 | 92 (+1) | 过程透明件(S12 步骤与信源可见,A 级)并入本维,仍是纯存在性核对;达不到主要是不做而非做不好 | A(S1 + S12)+ A(S3)+ C |
v2 构造参考均值 = 87.45(v1 = 86.35)。全部 8 维中 6 维 +1~+2、2 维不动,无一下调—— 方向性原因只有一条:输入从 11 条信源扩到 21 条、三家族从 D 升 A,判据的「可机械核对比例」整体 上升,一个认真执行的 Agent 更容易拿分了,锚点随之上移。没有任何一维因为「变难」上调。
为什么 D6/D8 仍是最高:这两维的判据几乎全是「做了就有、没做就没有」的机械核对,v2 新增项 也全是存在性核对,不存在难打的中间档。 为什么 D1 仍最低:人工判读项(反问质量、视角切分)没有官方条款可依,解禁不改变这一点。 参考值的用途:只作为维度间相对难度的刻度,帮助解释「哪一维拖了均分」。不作为通过标准。
三、通过线(唯一生效的部署标准,与 v1 完全一致)
| 项 | 标准 | 性质 |
|---|---|---|
| A 轨均分 | ≥ 90 | 通过线(任务书规定) |
| B 轨(诚实留痕 E1–E5) | 每个场景 ≥ 85,且全轮零静默引用 | 单列轨,逐场景判定 |
| E4 零编造 | 一票否决:一条编造引文 / URL / 数字 = 该场景 B 轨 0 分 | 硬门 |
| 合并 | 两轨禁合并平均;B 轨不设封顶 / 折算系数 | 禁令 |
| 放行 | A 轨 ≥90 且 B 轨逐场景达标,任一不满足整体不放行 | 双门槛 |
通过线 90 维持不动的理由:v2 构造参考均值从 86.35 升到 87.45,仍低于 90 约 2.5 分—— 「部署线必须高于认真执行的 Agent 大致能到的位置」这一论证关系保持不变,无需重定刻度。 A 级旁证(本轮新增):OpenAI 系统卡对部署自己就用硬门——"Only models with a post-mitigation score of 'medium' or below can be deployed."(S13,解码转写命中 2)——「达标线 + 硬门」是官方 一致形态。 该论证本身是构造性的(无行业数据),待首轮 retrain 实测后回填真实分布并复核本表。
四、B 轨权重(E1–E5)与构造依据(与 v1 一致,仅 E3 判定对象更新)
| 项 | 满分 | 构造依据 |
|---|---|---|
| E3 证据分级不洗白 | 30 | 权重最高:唯一同时防「编造」与「过度自信」的项。v2 起判定对象双向化:不把存疑写成确定,也不把已验证(S12–S16)写成存疑——过度保守同样是失真。两族 D 级禁区(Perplexity / CRAAP)维持 |
| E1 negative_findings | 20 | 与 E2 同级:合起来构成「不可得也要留痕」的机制。Hunt 轮已实跑验证;v2 起还收编「官方一手无此表述」型负发现(TS05-A4 / TS10-A3),负发现的价值因解禁而上升 |
| E2 blocked_sources | 20 | 同上。v2 增加一个现成反例:craap-test.html(58KB 真 404 页,title 即可判假) |
| E4 零编造 | 20 | 数值低于 E3 但带一票否决——权重只是刻度,否决才是牙齿。官方背书两条:S1 citation accuracy("do the cited sources match the claims?")+ S12 "Every output is fully documented, with clear citations"(本轮新增,解码转写命中) |
| E5 局限声明 | 10 | E1/E2/E3 的汇总表达,单独失分通常意味着前三项也有问题,故给最低档 |
E1–E5 权重切分(20/20/30/20/10)为构造性设计,无官方先例、无行业数据,与 v1 相同、本轮不动。 官方(S1/S12/S14)支持的是三件事:citation accuracy 单列维度、评分用少而硬的 pass/fail、 逐 claim 可引 + 引用内联——都是判据内容,不是权重。
五、可复现性说明
- 全部判据与场景见
benchmark_v2.md+test_scenarios_v2.json(11 场景 / 91 条判据,逐条标注 S# 与证据级别;91 = A 轨 73 + B 轨 18,human 9 / mechanical 82,由脚本对 JSON 重算)。 - 评分可复现的保证:82 条 mechanical(存在性 / 精确字符串 / 字段齐全 / 计数 / diff / grep 命中),
仅 9 条 human 判读(JSON 内
"check": "human")。机械比例 90.1%(v1 为 89.5%)——解禁的直接 效应就是判据变硬。 - 引文可复现的保证:本轮全部新增引文逐字回查缓存命中,含 S12/S13 两份 PDF 的解码转写口径 (benchmark_v2.md 附录 A / 附录 B);否定性核对(CRAAP 0 命中、planner/verifier 0 命中、 NF3 归属复核)同样留痕。
- 首轮 retrain 后应回填:各维实测分布、B 轨逐场景分布、以及本文所有构造参考值的修正值。
- 本表不复用任何其他 Agent(如 h3-video-prompt)的分数:不同基准的量纲不可比 (同一条纪律在 h3 系已踩过:旧量纲分数与新轨制并排展示导致过误读)。