industry_avg_v1.md 9.95 KB

version: v1 generated_by: innovator-digest date: 2026-08-30 based_on: /app/system/agents/h3-intake/train/hunt/knowhow_v1.md + sources_v1.json + test_scenarios_v1.json task: T-mtg0er0q(派单 org-innovator)|父任务 T-mtfyrrd0(master P1) evidence_grade: C 级(构造性参考值,无行业实测)

companion: benchmark_v1.md(双轨制 / CAP 封顶)+ test_scenarios_v1.json(12 场景 / 判据)

industry_avg_v1 — h3-intake 构造性参考值声明

一句话声明:本文件的全部数值都是构造性参考值(C 级),不是行业实测。 本轮 Hunt 为仓库内信源挖掘(knowhow_v1.md 头部「性质:仓库内信源挖掘,无外网、无爬虫」), 没有任何行业侧爬取数据;本文件不伪装成行业平均分,所有推法在下文逐条公开,可被复核、可被推翻。


1. 为什么只能构造(诚实的缺口登记)

数据源 本轮是否有 影响
行业爬取数据(其他公司同类岗位的产出样本) 无(无外网,Hunt 信源全部是仓库内权威件) 不存在任何「行业平均分」的实测基础
同岗位历史训练轮次的评分分布 无(h3-intake 是新本体,本轮是其首轮 Digest,无 Evolve 轮评分可回填) 无法用历史分布校准
本公司真实 run 的实测成品 有 2 份(attempt-0 / attempt-1,S6/S7/S4/S10,A 级) 这是唯一可用的实测锚点,见 §2
同型 benchmark 的其他 agent 自评分 有,但不可比(h3-video-prompt 三轨 97.03/95.40/96.71、deep-research A 轨 100 —— 均为各自量纲、各自判据集、各自 agent 的自评分) 只作量纲 sanity check,不作数据点,见 §5

[!WARNING] 如果这段被下游当成「行业平均分 = X」引用,就违背了本文件的唯一目的。部署门槛 90(A 轨均分) 与 85(B 轨逐场景)来自任务书的双轨制要求,不是从行业数据推出来的,也不是本文件发明的。


2. 推法(全部公开,可复核)

2.1 唯一的实测锚点:真实 run 的两份成品在本基准下的预判得分

用 test_scenarios_v1.json 的 known_bad_expectations 对照真实 run 的两份成品:

锚点 真实形态(A 级证据) 在本基准下的预判
attempt-0(verify 判 impl_bug 的第一稿,S6) 双口径并存(brd 逐字 vs contract 语义,S6 L9)+ 阈值推给不存在的 goal-benchmark(S6 L10)+ 无阈值/推给裁量(S6 L12/L14) 对应 TS-11 / TS-03 的坏样本形态 → A 轨 ≈ 30(双封顶 CAP-2=70、CAP-5=75 生效前维度已大幅失分);B 轨 ≈ 55(E2 分歧未上报、E3 同文关系未标注)
attempt-1(verify 判 passed 的重写版,S7/S4) 双口径已消除 + 数字已独立核算(20/23)+ 归一化前置已补 + 阈值可复算;但全文 0 处时长、未登记缺口、未上报(S4 机械核验) 对应 TS-05 的坏样本形态 → A 轨 ≈ 75(CAP-6 封顶);B 轨 ≈ 60(E2 缺口未上报重扣)

这两张预判本身就是本文件最有用的产出:真实 run 的「通过版」在本基准下只有 75 分—— 这正是 C-3 裁决要留住的那颗齿(F6:brd 缺时长 → J2 失据 → 下游被迫代拍板),也是 「Evolve 轮复核」时最值得先验的一条(若 Evolve 轮算出 attempt-1 远高于 75,说明判据缺齿)。

2.2 构造性先验(无实测,C 级,标注构造理由)

  • 未训练同岗位产出的期望值先验 = 60。构造理由:attempt-0(未按判据自查的初稿)30 分、 attempt-1(按 5 条 remediation 重写并通过 verify)75 分,两份真实样本跨了 45 分; 未经任何判据训练的通用产出应落在两者之间偏下(初稿更接近 30,但初稿至少有「六段形态意识」, 不会像纯表情输入那样全灭),取 60 为构造中位。这是假设,不是测量。

2.3 加权合成

industry_avg_score(A 轨) = 0.8 × mean(实测锚点) + 0.2 × 构造先验
                          = 0.8 × mean(30, 75) + 0.2 × 60
                          = 0.8 × 52.5 + 12
                          = 54

industry_avg_score = 54(A 轨,构造性参考值)

项目 值 性质
industry_avg_score(A 轨,未训练期望) 54 C 级构造(§2.3 公式)
A 轨部署门槛 90 任务书双轨制规定,非行业值
B 轨构造参考(未训练期望) 62 C 级构造(E2 缺口上报与 E5 待补项带理由是实测两稿共同的最弱项;E4 编造风险按 attempt-0 无编造事实记 0 概率,故未压到 0)
B 轨部署门槛 85 任务书双轨制规定,非行业值

2.4 逐维构造参考分(未训练期望,C 级)

推导规则:按本轮真实失败判例的密度与深度定低分——某维对应的失败判例越多 / 越重,未训练期望越低。 这不是测量,是把「已知失败在哪」翻译成参考值的显式规则。

维度 权重 构造参考分 推导依据(失败判例密度)
D1 契约覆盖度 20 68 悬空占位 / 缺段在初稿常见,但六段形态意识本体已写明(S1 L30-37),失分主要在段⑤
D2 验收判据可度量 20 48 真实 run 打回的 5 条 remediation 中 3 条落此维(S6 L9/L12/L14)——实测最弱维
D3 数字自核算 15 50 F4 实证(27 字 vs 20 字);打回方自己也会错(C-4),说明这是系统性弱点
D4 引用存在性 15 55 F3 goal-benchmark 判例 + C-8 编号漂移;本体无此条款(C-6),是「运行中长出来的」规则
D5 缺口与假设显式化 15 45 F6 时长静默缺席(passed 产物仍命中)+ F11/F12;最低分维
D6 下游可开工性 10 58 F6 下游代拍板实证;但有 J6 逐字透传的正面样本(S10 L12)
D7 落盘与索引认领 5 50 F7 簿记失败(kind=prd 零实例),纯纪律性,未训练必踩

加权校验:0.20×68 + 0.20×48 + 0.15×50 + 0.15×55 + 0.15×45 + 0.10×58 + 0.05×50 = 13.6 + 9.6 + 7.5 + 8.25 + 6.75 + 5.8 + 2.5 = 54.0 —— 与 §2.3 的 54 自洽(构造时按此对齐)。


3. 数据质量评分(对判据集本身的质量自评,非对 agent 产出)

判据质量项 得分 依据(可机械复核)
判据可回查性(每条判据 source 落到 F#/C-#/S# 或行号) 25/25 verify_digest.py 断言「零凭空编号」通过
机械可执行率 22/25 mechanical 判据占比见 test_scenarios_v1.json computed;human 判据集中在 D6(需对照下游契约文本),已给对照锚点
已知坏样本覆盖(判据不缺齿) 24/25 12 场景各带 ≥1 个坏样本 + 预期得分 + 触发 CAP / veto;扣 1 分因 TS-02(blocked 正样本)无「错误 blocked 的反向样本」
对称判罚覆盖 9/10 TS-05-A6(时长双向)与 TS-12-A3(过度登记)落成;扣 1 分因 TS-09 的「清空意图」只落在 D1 未单独成 CAP
封顶与门槛自洽 10/10 D1-D7 权重和 = 100、E1-E5 和 = 100、逐场景 A/B points 和 = 100,脚本断言通过
B 级范式防污染 8/10 S14/S15 只用于计分结构(§一 防污染条款);扣 2 分因 TS-07-A2 / TS-07-B3 直接引用了 S14 的「最小改动」内容条款(已标注 B 级 + 跨 agent 复现事实,属有意为之但需 master 复核)
合计 98/100 C 级自评,未做独立复核

4. 样本量统计

类别 数量 说明
行业实测样本 0 无外网,无行业爬取
同岗位历史评分样本 0 首轮 Digest,无 Evolve 评分可回填
真实 run 实测成品(判据锚点) 2 attempt-0 / attempt-1(S6/S7),含 verify 判决书两份
真实失败路径判例 12 F1-F12(knowhow §2),其中 9 条落进场景 trap
口径分歧判例 8 C-1~C-8(knowhow §4),7 条落成 R 条款 / 结构条款
登记信源 15 S1-S15(A 级 13 条 / B 级 2 条),均带 sha256 前 16 位
测试场景 12 TS-01…TS-12(基础 1 / 中等 5 / 困难 4 / 边界 2)
判据总数 见 test_scenarios_v1.json computed.criteria_total A 轨 / B 轨计数同处
封顶规则 6 CAP-1…CAP-6
裁决条款 7 + 1 R-1…R-7 + C-5 阻塞三分层

样本量结论:判例样本(12 条失败路径 + 2 份实测成品)足以支撑判据设计,但不足以支撑任何 「行业/人群分布」类结论。 本文件因此只产出构造性参考值,并把它标注到每个数字上。


5. 不可比数据的显式排除(防止量纲污染)

数据 为什么不可比 本文件的处理
h3-video-prompt v5 三轨 97.03 / 95.40 / 96.71 不同 agent(提示词 vs 需求受理)、不同评分对象(提示词原文 vs brd 文本)、三轨制 vs 双轨制 不作数据点,仅作「训练后可达 95+ 量纲」的 sanity check
deep-research A 轨 100 不同领域、不同判据集 同上
h3-intake 真实 run 的 verify verdict(passed) verify 用的是「五问齐备」口径,不含时长判据(C-3 冲突的核心) 不作分数,只作「判据口径差异会导致放行差异」的证据

6. 复核与回填路径

  1. Evolve 轮复核点:若 attempt-1 的复算得分显著偏离 75(±10 以上),优先怀疑判据缺齿或 CAP-6 条文有歧义,而不是先怀疑评分执行。
  2. 回填条件:拿到 ≥5 份同岗位产出 × 本基准的评分后,把 §2.3 的权重从「构造」改为「实测拟合」, 并在本文件追加 _v2(不覆盖本文件)。
  3. 禁止行为:任何下游文档不得把本文件的 54 / 62 / 98 写成「行业平均分」「行业基准」; 引用时必须带「构造性参考值(C 级)」标注。