--- version: v1 generated_by: innovator-digest date: 2026-08-30 based_on: /app/system/agents/h3-intake/train/hunt/knowhow_v1.md + sources_v1.json + test_scenarios_v1.json task: T-mtg0er0q(派单 org-innovator)|父任务 T-mtfyrrd0(master P1) evidence_grade: **C 级(构造性参考值,无行业实测)** companion: benchmark_v1.md(双轨制 / CAP 封顶)+ test_scenarios_v1.json(12 场景 / 判据) --- # industry_avg_v1 — h3-intake 构造性参考值声明 > **一句话声明:本文件的全部数值都是构造性参考值(C 级),不是行业实测。** > 本轮 Hunt 为仓库内信源挖掘(knowhow_v1.md 头部「性质:仓库内信源挖掘,无外网、无爬虫」), > 没有任何行业侧爬取数据;本文件不伪装成行业平均分,所有推法在下文逐条公开,可被复核、可被推翻。 --- ## 1. 为什么只能构造(诚实的缺口登记) | 数据源 | 本轮是否有 | 影响 | |---|---|---| | 行业爬取数据(其他公司同类岗位的产出样本) | **无**(无外网,Hunt 信源全部是仓库内权威件) | 不存在任何「行业平均分」的实测基础 | | 同岗位历史训练轮次的评分分布 | **无**(h3-intake 是新本体,本轮是其首轮 Digest,无 Evolve 轮评分可回填) | 无法用历史分布校准 | | 本公司真实 run 的实测成品 | **有 2 份**(attempt-0 / attempt-1,S6/S7/S4/S10,A 级) | 这是唯一可用的实测锚点,见 §2 | | 同型 benchmark 的其他 agent 自评分 | **有,但不可比**(h3-video-prompt 三轨 97.03/95.40/96.71、deep-research A 轨 100 —— 均为各自量纲、各自判据集、各自 agent 的自评分) | **只作量纲 sanity check,不作数据点**,见 §5 | > [!WARNING] > 如果这段被下游当成「行业平均分 = X」引用,就违背了本文件的唯一目的。部署门槛 90(A 轨均分) > 与 85(B 轨逐场景)来自任务书的双轨制要求,**不是**从行业数据推出来的,也不是本文件发明的。 --- ## 2. 推法(全部公开,可复核) ### 2.1 唯一的实测锚点:真实 run 的两份成品在本基准下的预判得分 用 `test_scenarios_v1.json` 的 `known_bad_expectations` 对照真实 run 的两份成品: | 锚点 | 真实形态(A 级证据) | 在本基准下的预判 | |---|---|---| | **attempt-0**(verify 判 impl_bug 的第一稿,S6) | 双口径并存(brd 逐字 vs contract 语义,S6 L9)+ 阈值推给不存在的 goal-benchmark(S6 L10)+ 无阈值/推给裁量(S6 L12/L14) | 对应 TS-11 / TS-03 的坏样本形态 → **A 轨 ≈ 30**(双封顶 CAP-2=70、CAP-5=75 生效前维度已大幅失分);B 轨 ≈ 55(E2 分歧未上报、E3 同文关系未标注) | | **attempt-1**(verify 判 passed 的重写版,S7/S4) | 双口径已消除 + 数字已独立核算(20/23)+ 归一化前置已补 + 阈值可复算;**但全文 0 处时长、未登记缺口、未上报(S4 机械核验)** | 对应 TS-05 的坏样本形态 → **A 轨 ≈ 75**(CAP-6 封顶);B 轨 ≈ 60(E2 缺口未上报重扣) | > 这两张预判本身就是本文件最有用的产出:**真实 run 的「通过版」在本基准下只有 75 分**—— > 这正是 C-3 裁决要留住的那颗齿(F6:brd 缺时长 → J2 失据 → 下游被迫代拍板),也是 > 「Evolve 轮复核」时最值得先验的一条(若 Evolve 轮算出 attempt-1 远高于 75,说明判据缺齿)。 ### 2.2 构造性先验(无实测,C 级,标注构造理由) - **未训练同岗位产出的期望值先验 = 60**。构造理由:attempt-0(未按判据自查的初稿)30 分、 attempt-1(按 5 条 remediation 重写并通过 verify)75 分,两份真实样本跨了 45 分; 未经任何判据训练的通用产出应落在两者之间偏下(初稿更接近 30,但初稿至少有「六段形态意识」, 不会像纯表情输入那样全灭),取 60 为构造中位。**这是假设,不是测量。** ### 2.3 加权合成 ``` industry_avg_score(A 轨) = 0.8 × mean(实测锚点) + 0.2 × 构造先验 = 0.8 × mean(30, 75) + 0.2 × 60 = 0.8 × 52.5 + 12 = 54 ``` **industry_avg_score = 54(A 轨,构造性参考值)** | 项目 | 值 | 性质 | |---|---|---| | industry_avg_score(A 轨,未训练期望) | **54** | C 级构造(§2.3 公式) | | A 轨部署门槛 | **90** | 任务书双轨制规定,非行业值 | | B 轨构造参考(未训练期望) | **62** | C 级构造(E2 缺口上报与 E5 待补项带理由是实测两稿共同的最弱项;E4 编造风险按 attempt-0 无编造事实记 0 概率,故未压到 0) | | B 轨部署门槛 | **85** | 任务书双轨制规定,非行业值 | ### 2.4 逐维构造参考分(未训练期望,C 级) 推导规则:**按本轮真实失败判例的密度与深度定低分**——某维对应的失败判例越多 / 越重,未训练期望越低。 这不是测量,是把「已知失败在哪」翻译成参考值的显式规则。 | 维度 | 权重 | 构造参考分 | 推导依据(失败判例密度) | |---|---|---|---| | D1 契约覆盖度 | 20 | **68** | 悬空占位 / 缺段在初稿常见,但六段形态意识本体已写明(S1 L30-37),失分主要在段⑤ | | D2 验收判据可度量 | 20 | **48** | 真实 run 打回的 5 条 remediation 中 3 条落此维(S6 L9/L12/L14)——实测最弱维 | | D3 数字自核算 | 15 | **50** | F4 实证(27 字 vs 20 字);打回方自己也会错(C-4),说明这是系统性弱点 | | D4 引用存在性 | 15 | **55** | F3 goal-benchmark 判例 + C-8 编号漂移;本体无此条款(C-6),是「运行中长出来的」规则 | | D5 缺口与假设显式化 | 15 | **45** | F6 时长静默缺席(passed 产物仍命中)+ F11/F12;**最低分维** | | D6 下游可开工性 | 10 | **58** | F6 下游代拍板实证;但有 J6 逐字透传的正面样本(S10 L12) | | D7 落盘与索引认领 | 5 | **50** | F7 簿记失败(kind=prd 零实例),纯纪律性,未训练必踩 | 加权校验:0.20×68 + 0.20×48 + 0.15×50 + 0.15×55 + 0.15×45 + 0.10×58 + 0.05×50 = 13.6 + 9.6 + 7.5 + 8.25 + 6.75 + 5.8 + 2.5 = **54.0** —— 与 §2.3 的 54 自洽(构造时按此对齐)。 --- ## 3. 数据质量评分(对判据集本身的质量自评,非对 agent 产出) | 判据质量项 | 得分 | 依据(可机械复核) | |---|---|---| | 判据可回查性(每条判据 source 落到 F#/C-#/S# 或行号) | 25/25 | verify_digest.py 断言「零凭空编号」通过 | | 机械可执行率 | 22/25 | mechanical 判据占比见 test_scenarios_v1.json `computed`;human 判据集中在 D6(需对照下游契约文本),已给对照锚点 | | 已知坏样本覆盖(判据不缺齿) | 24/25 | 12 场景各带 ≥1 个坏样本 + 预期得分 + 触发 CAP / veto;扣 1 分因 TS-02(blocked 正样本)无「错误 blocked 的反向样本」 | | 对称判罚覆盖 | 9/10 | TS-05-A6(时长双向)与 TS-12-A3(过度登记)落成;扣 1 分因 TS-09 的「清空意图」只落在 D1 未单独成 CAP | | 封顶与门槛自洽 | 10/10 | D1-D7 权重和 = 100、E1-E5 和 = 100、逐场景 A/B points 和 = 100,脚本断言通过 | | B 级范式防污染 | 8/10 | S14/S15 只用于计分结构(§一 防污染条款);扣 2 分因 TS-07-A2 / TS-07-B3 直接引用了 S14 的「最小改动」内容条款(已标注 B 级 + 跨 agent 复现事实,属有意为之但需 master 复核) | | **合计** | **98/100** | **C 级自评,未做独立复核** | --- ## 4. 样本量统计 | 类别 | 数量 | 说明 | |---|---|---| | 行业实测样本 | **0** | 无外网,无行业爬取 | | 同岗位历史评分样本 | **0** | 首轮 Digest,无 Evolve 评分可回填 | | 真实 run 实测成品(判据锚点) | **2** | attempt-0 / attempt-1(S6/S7),含 verify 判决书两份 | | 真实失败路径判例 | **12** | F1-F12(knowhow §2),其中 9 条落进场景 trap | | 口径分歧判例 | **8** | C-1~C-8(knowhow §4),7 条落成 R 条款 / 结构条款 | | 登记信源 | **15** | S1-S15(A 级 13 条 / B 级 2 条),均带 sha256 前 16 位 | | 测试场景 | **12** | TS-01…TS-12(基础 1 / 中等 5 / 困难 4 / 边界 2) | | 判据总数 | 见 test_scenarios_v1.json `computed.criteria_total` | A 轨 / B 轨计数同处 | | 封顶规则 | **6** | CAP-1…CAP-6 | | 裁决条款 | **7 + 1** | R-1…R-7 + C-5 阻塞三分层 | > 样本量结论:**判例样本(12 条失败路径 + 2 份实测成品)足以支撑判据设计,但不足以支撑任何 > 「行业/人群分布」类结论。** 本文件因此只产出构造性参考值,并把它标注到每个数字上。 --- ## 5. 不可比数据的显式排除(防止量纲污染) | 数据 | 为什么不可比 | 本文件的处理 | |---|---|---| | h3-video-prompt v5 三轨 97.03 / 95.40 / 96.71 | 不同 agent(提示词 vs 需求受理)、不同评分对象(提示词原文 vs brd 文本)、三轨制 vs 双轨制 | 不作数据点,仅作「训练后可达 95+ 量纲」的 sanity check | | deep-research A 轨 100 | 不同领域、不同判据集 | 同上 | | h3-intake 真实 run 的 verify verdict(passed) | verify 用的是「五问齐备」口径,不含时长判据(C-3 冲突的核心) | **不作分数**,只作「判据口径差异会导致放行差异」的证据 | --- ## 6. 复核与回填路径 1. **Evolve 轮复核点**:若 attempt-1 的复算得分显著偏离 75(±10 以上),优先怀疑判据缺齿或 CAP-6 条文有歧义,而不是先怀疑评分执行。 2. **回填条件**:拿到 ≥5 份同岗位产出 × 本基准的评分后,把 §2.3 的权重从「构造」改为「实测拟合」, 并在本文件追加 `_v2`(不覆盖本文件)。 3. **禁止行为**:任何下游文档不得把本文件的 54 / 62 / 98 写成「行业平均分」「行业基准」; 引用时必须带「构造性参考值(C 级)」标注。