# 行业基准参考 v1 — deep-research Agent(industry_avg) - 生成者:innovator-digest | 日期:2026-08-28 | 任务:T-mtcp0o6q - 依据:`hunt/knowhow_v1.md`(判据唯一依据源)+ `hunt/sources_v1.json`(S1–S11)+ `benchmark_v1.md` ## 一、本基准的诚实声明(先读) **本轮没有真实行业基准数据。** 可信的行业均值需要同一评分表下、对多个同类 Agent 实测的分数分布; 本轮是 deep-research Agent 的**新建训练 v1**,被评测对象只有一个,且尚未跑过任何一轮 retrain。 因此本文给出的所有 `industry_avg_score` 都是**构造性参考值,无行业数据**——它们不是测出来的, 是从判据的证据强度与失败代价**推出来的锚点**,用于让「通过线 90」有一个可解释的刻度。 每条构造值都给出构造依据,并标注它依赖的是哪一级证据。**没有任何一个数字是编造的实测统计**—— 这里与「编造」划清界限的方式不是不给数,而是明说这个数是怎么来的、能被什么推翻。 ## 二、逐维参考值(A 轨,满分 100) | 维度 | 名称 | 权重 | industry_avg_score(构造参考) | 构造依据 | 依赖证据 | |---|---|---|---|---|---| | D1 | 需求澄清与检索计划 | 15 | 82 | 方向性环节,错了后面全错;但澄清质量含人工判读成分(TS01-A5 / TS02-A4),同类任务实测通常波动最大 | A(S1 计划落盘)+ C(计划实体化) | | D2 | 子问题拆解与派单质量 | 15 | 85 | 派单四要素有 A 级逐字条款可机械核对,判据最硬;但「无重叠无缺口」需人工判读 | A(S1 派单四要素 + 翻车样例) | | D3 | 检索执行策略 | 15 | 88 | 先宽后窄、两类并行、串行反模式全部有 A 级逐字条款与量化收益(-90% 耗时),可机械核对比例最高 | A(S1)+ B(S7/S8 双通道) | | D4 | 信源质量与可信度评级 | 15 | 86 | 一手优先与信源启发是 A 级;MBFC 数字是 B 级且最易凭印象写错(TS04 专测),故略低于 D3 | A(S1)+ B(S11)+ C(分级) | | D5 | 交叉验证与分级结论 | 10 | 84 | 结论分级与仲裁矩阵主要是 C 级构造,判分含主观成分;但 Z 类 D 级不洗白是硬门 | B(S7 多源取众 + S9 双缺陷)+ C | | D6 | 引用与溯源 | 10 | 90 | citation accuracy 是官方 rubric 维度,且可 100% 机械 diff(引文 grep + source_id 映射),最容易做到满分也最容易一票否决 | A(S1 CitationAgent + rubric) | | D7 | 停机判据与 effort 校准 | 10 | 87 | 判级表 A 级且可直接对照执行留痕;「够用不停 / 找不到硬找」可用调用计数核对 | A(S1 scaling rules + 两个停机反模式) | | D8 | 产物落盘与机械自检 | 10 | 91 | 落盘与回传长度是纯机械核对,属工程约定而非判断题;达不到主要是不做而非做不好 | A(S1 落盘轻量回传)+ A(S3 篇幅约束)+ C | > **为什么 D6/D8 的构造参考值最高**:这两维的判据几乎全是「做了就有、没做就没有」的机械核对 > (文件存在 / 回传长度 / 引文 grep 命中 / source_id 一致),不存在难打的中间档。 > **为什么 D1 最低**:含最多人工判读项,且「反问质量」没有官方条款可依(C 级构造)。 > **参考值的用途**:只作为维度间相对难度的刻度,帮助解释「哪一维拖了均分」。**不作为通过标准**。 ## 三、通过线(唯一生效的部署标准) | 项 | 标准 | 性质 | |---|---|---| | A 轨均分 | **≥ 90** | 通过线(任务书规定) | | B 轨(诚实留痕 E1–E5) | **每个场景 ≥ 85**,且全轮**零静默引用** | 单列轨,逐场景判定 | | E4 零编造 | 一票否决:一条编造引文 / URL / 数字 = 该场景 B 轨 0 分 | 硬门 | | 合并 | **两轨禁合并平均**;B 轨不设封顶 / 折算系数 | 禁令 | | 放行 | A 轨 ≥90 **且** B 轨逐场景达标,任一不满足整体不放行 | 双门槛 | > 通过线 90 定在「构造参考均值之上约 3–8 分」是有意的:参考值刻画的是「一个认真执行的 Agent > 大致能到的位置」,部署线必须高于它,否则基准失去筛出不合格产出的作用。 > 该论证本身是构造性的(无行业数据),**待首轮 retrain 实测后回填真实分布并复核本表**。 ## 四、B 轨权重(E1–E5)与构造依据 | 项 | 满分 | 构造依据 | |---|---|---| | E3 证据分级不洗白 | 30 | 权重最高:唯一同时防「编造」与「过度自信」的项。D 级禁区的结论若被写成确定结论,读者无法从行文分辨,危害大于普通质量缺陷 | | E1 negative_findings | 20 | 与 E2 同级:两者合起来构成「不可得也要留痕」的机制。Hunt 轮已实跑验证(sources_v1.json 含 6 条 negative_findings + 10 条 blocked_sources),机制可行 | | E2 blocked_sources | 20 | 同上 | | E4 零编造 | 20 | 数值上低于 E3,但**带一票否决**——权重只是刻度,否决才是牙齿。S1 的 citation accuracy("do the cited sources match the claims?")是唯一官方直接背书的一条 | | E5 局限声明 | 10 | 是 E1/E2/E3 的汇总表达,单独失分通常意味着前三项也有问题,故给最低档 | > E1–E5 的权重切分(20/20/30/20/10)为构造性设计,**无官方先例、无行业数据**。 > 官方(S1)只支持两件事:citation accuracy 必须单列维度(A 级)、评分用少而硬的 pass/fail 最稳定(A 级)。 ## 五、可复现性说明 - 全部判据与场景见 `benchmark_v1.md` + `test_scenarios_v1.json`(10 场景 / 76 条判据,逐条标注 S# 与证据级别)。 - 评分可复现的保证:76 条判据中 68 条为 mechanical(存在性 / 精确字符串 / 字段齐全 / 计数 / diff), 仅 8 条标 human 判读(JSON 内 `"check": "human"`)。 - 首轮 retrain 后应回填:各维实测分布、B 轨逐场景分布、以及本文所有构造参考值的修正值。 - **本表不复用任何其他 Agent(如 h3-video-prompt)的分数**:不同基准的量纲不可比 (同一条纪律在 h3 系已踩过:旧量纲分数与新轨制并排展示导致过误读)。