industry_avg_v1.md 6.14 KB

行业基准参考 v1 — deep-research Agent(industry_avg)

  • 生成者:innovator-digest | 日期:2026-08-28 | 任务:T-mtcp0o6q
  • 依据:hunt/knowhow_v1.md(判据唯一依据源)+ hunt/sources_v1.json(S1–S11)+ benchmark_v1.md

一、本基准的诚实声明(先读)

本轮没有真实行业基准数据。 可信的行业均值需要同一评分表下、对多个同类 Agent 实测的分数分布; 本轮是 deep-research Agent 的新建训练 v1,被评测对象只有一个,且尚未跑过任何一轮 retrain。 因此本文给出的所有 industry_avg_score 都是构造性参考值,无行业数据——它们不是测出来的, 是从判据的证据强度与失败代价推出来的锚点,用于让「通过线 90」有一个可解释的刻度。

每条构造值都给出构造依据,并标注它依赖的是哪一级证据。没有任何一个数字是编造的实测统计—— 这里与「编造」划清界限的方式不是不给数,而是明说这个数是怎么来的、能被什么推翻。

二、逐维参考值(A 轨,满分 100)

维度 名称 权重 industry_avg_score(构造参考) 构造依据 依赖证据
D1 需求澄清与检索计划 15 82 方向性环节,错了后面全错;但澄清质量含人工判读成分(TS01-A5 / TS02-A4),同类任务实测通常波动最大 A(S1 计划落盘)+ C(计划实体化)
D2 子问题拆解与派单质量 15 85 派单四要素有 A 级逐字条款可机械核对,判据最硬;但「无重叠无缺口」需人工判读 A(S1 派单四要素 + 翻车样例)
D3 检索执行策略 15 88 先宽后窄、两类并行、串行反模式全部有 A 级逐字条款与量化收益(-90% 耗时),可机械核对比例最高 A(S1)+ B(S7/S8 双通道)
D4 信源质量与可信度评级 15 86 一手优先与信源启发是 A 级;MBFC 数字是 B 级且最易凭印象写错(TS04 专测),故略低于 D3 A(S1)+ B(S11)+ C(分级)
D5 交叉验证与分级结论 10 84 结论分级与仲裁矩阵主要是 C 级构造,判分含主观成分;但 Z 类 D 级不洗白是硬门 B(S7 多源取众 + S9 双缺陷)+ C
D6 引用与溯源 10 90 citation accuracy 是官方 rubric 维度,且可 100% 机械 diff(引文 grep + source_id 映射),最容易做到满分也最容易一票否决 A(S1 CitationAgent + rubric)
D7 停机判据与 effort 校准 10 87 判级表 A 级且可直接对照执行留痕;「够用不停 / 找不到硬找」可用调用计数核对 A(S1 scaling rules + 两个停机反模式)
D8 产物落盘与机械自检 10 91 落盘与回传长度是纯机械核对,属工程约定而非判断题;达不到主要是不做而非做不好 A(S1 落盘轻量回传)+ A(S3 篇幅约束)+ C

为什么 D6/D8 的构造参考值最高:这两维的判据几乎全是「做了就有、没做就没有」的机械核对 (文件存在 / 回传长度 / 引文 grep 命中 / source_id 一致),不存在难打的中间档。 为什么 D1 最低:含最多人工判读项,且「反问质量」没有官方条款可依(C 级构造)。 参考值的用途:只作为维度间相对难度的刻度,帮助解释「哪一维拖了均分」。不作为通过标准。

三、通过线(唯一生效的部署标准)

项 标准 性质
A 轨均分 ≥ 90 通过线(任务书规定)
B 轨(诚实留痕 E1–E5) 每个场景 ≥ 85,且全轮零静默引用 单列轨,逐场景判定
E4 零编造 一票否决:一条编造引文 / URL / 数字 = 该场景 B 轨 0 分 硬门
合并 两轨禁合并平均;B 轨不设封顶 / 折算系数 禁令
放行 A 轨 ≥90 且 B 轨逐场景达标,任一不满足整体不放行 双门槛

通过线 90 定在「构造参考均值之上约 3–8 分」是有意的:参考值刻画的是「一个认真执行的 Agent 大致能到的位置」,部署线必须高于它,否则基准失去筛出不合格产出的作用。 该论证本身是构造性的(无行业数据),待首轮 retrain 实测后回填真实分布并复核本表。

四、B 轨权重(E1–E5)与构造依据

项 满分 构造依据
E3 证据分级不洗白 30 权重最高:唯一同时防「编造」与「过度自信」的项。D 级禁区的结论若被写成确定结论,读者无法从行文分辨,危害大于普通质量缺陷
E1 negative_findings 20 与 E2 同级:两者合起来构成「不可得也要留痕」的机制。Hunt 轮已实跑验证(sources_v1.json 含 6 条 negative_findings + 10 条 blocked_sources),机制可行
E2 blocked_sources 20 同上
E4 零编造 20 数值上低于 E3,但带一票否决——权重只是刻度,否决才是牙齿。S1 的 citation accuracy("do the cited sources match the claims?")是唯一官方直接背书的一条
E5 局限声明 10 是 E1/E2/E3 的汇总表达,单独失分通常意味着前三项也有问题,故给最低档

E1–E5 的权重切分(20/20/30/20/10)为构造性设计,无官方先例、无行业数据。 官方(S1)只支持两件事:citation accuracy 必须单列维度(A 级)、评分用少而硬的 pass/fail 最稳定(A 级)。

五、可复现性说明

  • 全部判据与场景见 benchmark_v1.md + test_scenarios_v1.json(10 场景 / 76 条判据,逐条标注 S# 与证据级别)。
  • 评分可复现的保证:76 条判据中 68 条为 mechanical(存在性 / 精确字符串 / 字段齐全 / 计数 / diff), 仅 8 条标 human 判读(JSON 内 "check": "human")。
  • 首轮 retrain 后应回填:各维实测分布、B 轨逐场景分布、以及本文所有构造参考值的修正值。
  • 本表不复用任何其他 Agent(如 h3-video-prompt)的分数:不同基准的量纲不可比 (同一条纪律在 h3 系已踩过:旧量纲分数与新轨制并排展示导致过误读)。