industry_avg_v1.md
6.14 KB
行业基准参考 v1 — deep-research Agent(industry_avg)
- 生成者:innovator-digest | 日期:2026-08-28 | 任务:T-mtcp0o6q
- 依据:
hunt/knowhow_v1.md(判据唯一依据源)+hunt/sources_v1.json(S1–S11)+benchmark_v1.md
一、本基准的诚实声明(先读)
本轮没有真实行业基准数据。 可信的行业均值需要同一评分表下、对多个同类 Agent 实测的分数分布;
本轮是 deep-research Agent 的新建训练 v1,被评测对象只有一个,且尚未跑过任何一轮 retrain。
因此本文给出的所有 industry_avg_score 都是构造性参考值,无行业数据——它们不是测出来的,
是从判据的证据强度与失败代价推出来的锚点,用于让「通过线 90」有一个可解释的刻度。
每条构造值都给出构造依据,并标注它依赖的是哪一级证据。没有任何一个数字是编造的实测统计—— 这里与「编造」划清界限的方式不是不给数,而是明说这个数是怎么来的、能被什么推翻。
二、逐维参考值(A 轨,满分 100)
| 维度 | 名称 | 权重 | industry_avg_score(构造参考) | 构造依据 | 依赖证据 |
|---|---|---|---|---|---|
| D1 | 需求澄清与检索计划 | 15 | 82 | 方向性环节,错了后面全错;但澄清质量含人工判读成分(TS01-A5 / TS02-A4),同类任务实测通常波动最大 | A(S1 计划落盘)+ C(计划实体化) |
| D2 | 子问题拆解与派单质量 | 15 | 85 | 派单四要素有 A 级逐字条款可机械核对,判据最硬;但「无重叠无缺口」需人工判读 | A(S1 派单四要素 + 翻车样例) |
| D3 | 检索执行策略 | 15 | 88 | 先宽后窄、两类并行、串行反模式全部有 A 级逐字条款与量化收益(-90% 耗时),可机械核对比例最高 | A(S1)+ B(S7/S8 双通道) |
| D4 | 信源质量与可信度评级 | 15 | 86 | 一手优先与信源启发是 A 级;MBFC 数字是 B 级且最易凭印象写错(TS04 专测),故略低于 D3 | A(S1)+ B(S11)+ C(分级) |
| D5 | 交叉验证与分级结论 | 10 | 84 | 结论分级与仲裁矩阵主要是 C 级构造,判分含主观成分;但 Z 类 D 级不洗白是硬门 | B(S7 多源取众 + S9 双缺陷)+ C |
| D6 | 引用与溯源 | 10 | 90 | citation accuracy 是官方 rubric 维度,且可 100% 机械 diff(引文 grep + source_id 映射),最容易做到满分也最容易一票否决 | A(S1 CitationAgent + rubric) |
| D7 | 停机判据与 effort 校准 | 10 | 87 | 判级表 A 级且可直接对照执行留痕;「够用不停 / 找不到硬找」可用调用计数核对 | A(S1 scaling rules + 两个停机反模式) |
| D8 | 产物落盘与机械自检 | 10 | 91 | 落盘与回传长度是纯机械核对,属工程约定而非判断题;达不到主要是不做而非做不好 | A(S1 落盘轻量回传)+ A(S3 篇幅约束)+ C |
为什么 D6/D8 的构造参考值最高:这两维的判据几乎全是「做了就有、没做就没有」的机械核对 (文件存在 / 回传长度 / 引文 grep 命中 / source_id 一致),不存在难打的中间档。 为什么 D1 最低:含最多人工判读项,且「反问质量」没有官方条款可依(C 级构造)。 参考值的用途:只作为维度间相对难度的刻度,帮助解释「哪一维拖了均分」。不作为通过标准。
三、通过线(唯一生效的部署标准)
| 项 | 标准 | 性质 |
|---|---|---|
| A 轨均分 | ≥ 90 | 通过线(任务书规定) |
| B 轨(诚实留痕 E1–E5) | 每个场景 ≥ 85,且全轮零静默引用 | 单列轨,逐场景判定 |
| E4 零编造 | 一票否决:一条编造引文 / URL / 数字 = 该场景 B 轨 0 分 | 硬门 |
| 合并 | 两轨禁合并平均;B 轨不设封顶 / 折算系数 | 禁令 |
| 放行 | A 轨 ≥90 且 B 轨逐场景达标,任一不满足整体不放行 | 双门槛 |
通过线 90 定在「构造参考均值之上约 3–8 分」是有意的:参考值刻画的是「一个认真执行的 Agent 大致能到的位置」,部署线必须高于它,否则基准失去筛出不合格产出的作用。 该论证本身是构造性的(无行业数据),待首轮 retrain 实测后回填真实分布并复核本表。
四、B 轨权重(E1–E5)与构造依据
| 项 | 满分 | 构造依据 |
|---|---|---|
| E3 证据分级不洗白 | 30 | 权重最高:唯一同时防「编造」与「过度自信」的项。D 级禁区的结论若被写成确定结论,读者无法从行文分辨,危害大于普通质量缺陷 |
| E1 negative_findings | 20 | 与 E2 同级:两者合起来构成「不可得也要留痕」的机制。Hunt 轮已实跑验证(sources_v1.json 含 6 条 negative_findings + 10 条 blocked_sources),机制可行 |
| E2 blocked_sources | 20 | 同上 |
| E4 零编造 | 20 | 数值上低于 E3,但带一票否决——权重只是刻度,否决才是牙齿。S1 的 citation accuracy("do the cited sources match the claims?")是唯一官方直接背书的一条 |
| E5 局限声明 | 10 | 是 E1/E2/E3 的汇总表达,单独失分通常意味着前三项也有问题,故给最低档 |
E1–E5 的权重切分(20/20/30/20/10)为构造性设计,无官方先例、无行业数据。 官方(S1)只支持两件事:citation accuracy 必须单列维度(A 级)、评分用少而硬的 pass/fail 最稳定(A 级)。
五、可复现性说明
- 全部判据与场景见
benchmark_v1.md+test_scenarios_v1.json(10 场景 / 76 条判据,逐条标注 S# 与证据级别)。 - 评分可复现的保证:76 条判据中 68 条为 mechanical(存在性 / 精确字符串 / 字段齐全 / 计数 / diff),
仅 8 条标 human 判读(JSON 内
"check": "human")。 - 首轮 retrain 后应回填:各维实测分布、B 轨逐场景分布、以及本文所有构造参考值的修正值。
- 本表不复用任何其他 Agent(如 h3-video-prompt)的分数:不同基准的量纲不可比 (同一条纪律在 h3 系已踩过:旧量纲分数与新轨制并排展示导致过误读)。