--- version: v1 generated_by: innovator-digest date: 2026-08-30 based_on: /app/system/agents/h3-intake/train/hunt/knowhow_v1.md + /app/system/agents/h3-intake/train/hunt/sources_v1.json（T-mtfzzh08，org-innovator 亲验放行） task: T-mtg0er0q（派单 org-innovator）｜父任务 T-mtfyrrd0（master P1） scenarios: test_scenarios_v1.json（12 场景） industry_avg: industry_avg_v1.md（**C 级构造性参考值，非行业实测**） adjudications: R-1…R-7（Hunt C-1~C-8 的判据侧裁决，见 §二） write_boundary_note: 落盘路径 /app/system/agents/h3-intake/train/digest/ 实测可写（mkdir + 试写成功），未触发 EACCES 换路径 --- # H3 需求受理质量评分基准 v1 — h3-intake（需求受理员） > 生成者：innovator-digest（Phase 2 Digest，新建训练 v1）｜日期：2026-08-30 > 评分对象：**h3-intake（含其 work graph 内部节点 `h3-intake-brd` / `h3-intake-extract`，见 §十 局限 2） > 产出的 `brd` 交付物文本，含 blocked 报告形态**。 > 上游：Hunt P0（T-mtfzzh08）——仓库内信源挖掘，无外网无爬虫；信源 S1–S15 全部是仓库内权威件 > （agent 本体 / 真实 E2E run 留痕），每条带 sha256 前 16 位可回查。 > 判据唯一依据源 = `train/hunt/knowhow_v1.md`；引文溯源母本 = `train/hunt/sources_v1.json`。 > **本轮没有 D 级**：不存在「常识综述原文未复检」这一类信源（无外网）；但因此新增了一类必须 > 防住的污染——**把 B 级范式文件（S14/S15）里的写法当成本公司条款引用**（见 §一 引用纪律）。 --- ## 〇、计分制总览（先读这一节） ### 0.1 双轨制 | 轨 | 覆盖 | 计分 | 部署门槛 | |---|---|---|---| | **A 轨 · 产出质量** | D1–D7（§五） | 7 维加权，满分 100 | **均分 ≥ 90** | | **B 轨 · 诚实留痕** | E1–E5（§四） | 独立 0–100，逐场景判定 | **每个场景 ≥ 85**，且全轮**零静默拍板 / 零静默缺口** | **两条禁令（不接受任何形式的折算）**： 1. **两轨禁合并平均**。一次「编主角外观」+ 九份体面 brd 的均分仍是高分，而这正是 h3-validator 处爆雷、浪费整条链一整轮的那类产出（S1 L51-52 的原话就是防它）。 2. **B 轨不设任何封顶 / 折算系数**。「如实 blocked 而不硬造 brd」是本岗位唯一正确的安全行为 （S1 L49-52），任何把保守行为折算掉的系数都是逆向激励——这条纪律沿用 deep-research benchmark_v1 §〇 0.1 的同款论证（S15，B 级，只学格式）。 任一轨不达标 → **整体不放行**。 ### 0.2 评分输入与机械可校验原则 评分者读的是 brd 交付物文本（以及随附的 blocked 报告 / contract 类伴生文件），不读中间过程。 判据以**可机器校验为主**（存在性 / 精确字符串 / 正则 / 数值比对 / 字段齐全 / 字节一致），凡需 人判的判据在 `test_scenarios_v1.json` 里以 `"check": "human"` 显式标出，其余全部 `"check": "mechanical"`。 为什么坚持机械可校验：本轮最重的一条真实失败路径（F3，attempt-0 被判 impl_bug 打回重写）的 5 条 不过判据里，有 3 条本质是「措辞无法被机器裁决，于是 validator 届时任选宽松的一个判 pass」 （S6 L9/L12/L14）。判据写得越可机械执行，越不容易留这种双口径缝。 ### 0.3 C-2 裁决的落地：按「六段内容齐备」判，不按固定标题 grep（重要） `agent.md` 判据 1 原文是「六段齐全，`grep` 能逐段命中」（S1 L42，A 级）。**本基准不照抄这一条**， 因为真实 run 已实证：按固定标题 grep 会对真实通过产物误判 fail（S4 的真实 brd 是「五问 + S1–S9」 形态，verify 按五问判完整性并判 passed，S6 checks[A.完整性] / S7）。 落地方式：判据一律写**「六段所要求的内容是否齐备」**（内容要素存在性），不写「某某标题字符串是否存在」。 六段内容 → 两种契约形态的逐段映射见 §二 R-2 的等价映射表。**只有一处例外保留字面判法**： 段⑥台词为空时必须出现精确字串「无台词」（S1 L36「没有就明写"无台词"」），这是本体给死的措辞。 --- ## 一、证据分级与引用纪律（贯穿全部判据） 沿用 Hunt 的 A/B/C 三级（本轮无 D 级，见上文），**禁止跨级引用**： | 级别 | 含义 | 本轮对应信源 | 允许的用途 | |---|---|---|---| | **A** | 仓库一手权威件：agent 本体 + 真实 E2E run 留痕，逐字 excerpt + sha256 登记 | S1–S13 | 硬判据、封顶依据、期望产出依据 | | **B** | 可操作第三方（判据**写法范式**） | S14（h3-video-prompt benchmark_v2）、S15（deep-research benchmark_v1） | **只学格式**（双轨制、封顶、来源对照表），其内容不得作为 h3-intake 的判据依据 | | **C** | 构造性设计（本基准提出的可训练规范），无 run 判例 | 无信源，须显式标注「构造性设计」 | 可作判据，但必须带标注与构造理由 | > **B 级防污染条款（本轮新增，C 级构造）**：S14/S15 是**别的 agent** 的评分基准。它们描述的 > `` 包裹、引用登记 schema、仲裁矩阵等内容**与 h3-intake 无关**，若出现在 h3-intake 的 brd > 期望产出里即判错。判据来源对照表（§九）里每一条 B 级引用都只对应「计分结构」而非「内容条款」。 --- ## 二、全局裁决条款（R-1…R-7） > Hunt 留下 8 条口径分歧（knowhow §4 C-1～C-8），上级已给判据侧裁决方向。逐条落成 R 条款； > **本体 / 系统侧改动不归本轮**，需交上级的本体修订需求在每条末尾以「⇒ 上报」标出，并汇总进 §十。 ### R-1 落盘路径按「写入边界 + kind 命名」判，路径本身不作死判据【对应 C-1】 - 甲方：agent.md 写死「落盘路径（固定）：`/app/data/companies/h3video/workspace/01-intake/brd.md`」（S1 L28）。 - 乙方：真实 run 的写入边界只允许项目根 `/app/data/companies/h3video/projects/p-9oi5fo`，写 workspace 越界判失败，brd 已裁决「留痕根 = 项目根」（S5 id:19 / S8 冲突① / S4 L78）。 - **裁决**：判据写「交付物落在本次调用写入边界允许的目录内、且文件按 kind 命名（`brd.md` / `prd.md`） 并在节点私有目录留 cmp 字节一致副本（F7 的硬纪律，S5 id:71-72 / S10 L14）」；**绝对路径字符串不进判据**。 - ⇒ 上报（本体修订需求）：S1 L28 的固定路径在当前引擎边界下必错，每个 run 都要走一遍同样的冲突上报， 建议改写为「落在写入边界允许的 `01-intake/` 下」。 ### R-2 契约形态：六段为正源，「五问 + S1–S9」为等价可达形态【对应 C-2，判据按内容判】 - 正源：agent.md 六段 + 「假设与待补项」（S1 L30-37）。 - 等价形态：真实 brd 的「五问」（干系人 / 痛点 / 度量 / in-out scope / 硬输入透传+冲突上报）+ 9 条可机器执行 success metrics（S4；S6 checks[A.完整性] 即按五问判完整性）。 - **裁决**：两种形态**不互斥**——真实 brd 的 §6 硬输入透传覆盖了六段中除段⑤以外的全部内容。 判据按「六段**内容**齐备」判，接受任一形态承载。逐段映射： | agent.md 六段（S1 L31-36） | 五问形态中的等价落点 | 机械判法（内容要素存在性） | |---|---|---| | ① 想拍什么 | 五问①干系人 + ②痛点 | 含题材 / 事件 / 要传达什么三者中的题材+事件至少两项，且为一段可读陈述（非关键词堆） | | ② 主角 | 硬输入透传中的主角条目（真实 run 为 §6-C/§6-D） | 出现主角条目；每一项可追溯到输入原话，或标 `UNSPECIFIED`/「我的假设」进待补项 | | ③ 场景 | 硬输入透传中的场景条目（§6-B） | 地点 / 时间 / 天气 / 环境要素逐项可辨 | | ④ 风格 | 硬输入透传（§6-B） | 出现可判定的风格词 + 情绪基调（形容词不得进验收判据，见 D2） | | ⑤ 时长约束 | **无等价落点**（真实 run 缺席，F6/C-3） | 必须单独出现：数字时长 + 区间；或「假设与待补项」显式登记时长缺口并上报（R-3 双向判罚） | | ⑥ 台词 / 音频 | 硬输入透传中的台词条目（§6-A，J6 的唯一基准） | 逐字引文（含归一化口径）或精确字串「无台词」 | | 「假设与待补项」 | 冲突/缺口处置表（S4 L78-81） | 每一处替用户拍板都带「我按 X 理解，理由是 Y」（S1 L37） | - 裁决依据：Hunt C-2 只列了现象（knowhow §4 C-2），上级裁决「以 agent.md 六段为本体正源 + 真实 run 五问形态等价可达 + 按『六段内容齐备』判而非按固定标题 grep」。本表是那条裁决的落法。 ### R-3 时长缺席：双向判罚条文【对应 C-3】 - 事实：agent.md 硬要求「总时长必须给死」（S1 L35）+ 判据 4「时长约束是一个具体数字 + 区间」（S1 L45）； 但真实 brd 全文 0 处「时长/秒」（S4 机械核验），verify 放行，下游 h3-story 被迫代拍板 （S10 L12：D1 按 20 字≈6 秒拍板 10 秒级/4 拍），h3-validator 的 J2 因此失据（S3 L63）。 - **裁决条文**（上级建议稿确认采纳，含对称判罚——两个方向的偏离都算缺陷）： 1. brd **必须**含数字目标时长 + 可接受区间（例：「10 秒，可接受 8–12 秒」），拆镜头数留给下游（S1 L35）。 2. 若原始输入确实不可得时长：**必须**在「假设与待补项」显式登记时长缺口（写明「输入未给时长」）， **并**向上游 / 用户上报该缺口——两步缺一即缺陷。 3. **对称判罚**：反过来，**凭空给死一个无输入依据、且未在待补项标注为假设的数字时长，同样是缺陷** （那是一次未被登记的替用户拍板，违反 S1 L37「我替用户拍板的每一处，写"我按 X 理解，理由是 Y"」）。 ——只罚「缺席」不罚「无依据给死」，会把另一半偏离合法化。 4. 静默缺席（既无数字、也未登记缺口、也没上报）= 最重档，触发 CAP-6。真实 run 正是这一档 （brd 缺时长、未登记缺口、下游被迫代拍板且 J2 失据，F6）——**这不是判据错，这正是判据该抓住的齿**。 - 判据不得以「真实 run 已通过验收」为由放宽：通过与否是 verify 的裁量，判据的职责是把这颗齿留住。 ### R-4 判据句自身必须先过数字核算与归一化前置【对应 C-4】 - 事实：打回方（verify）自己的 remediation 示例写「27 字」，实点 20 字（S10 L10 / S7 L11）； S3(a) 针短语含逗号、而被检文本已去标点 → 字面上永假，且沿链条传播 4 轮（S7 L19 / S5 id:68,113,143）。 - **裁决**：brd 里每一条验收判据句，落盘前必须自过两道检查，且这两道检查本身就是 A 轨判据： ①**数字自核算**——句中每个数字（阈值 / 分母 / 计数 / 口径）都从原始输入独立算出，不照抄上游或 打回方的示例措辞（CAP-3）；②**归一化前置条件**——凡涉及「逐字 / 包含 / 一致」比对，必须写明 双侧同用的归一化口径（去标点 / 全半角 / 大小写），否则该句字面永假（CAP-4）。 - 本基准自己同样受这条约束：本文件引用的全部数字与引文经附录 A 机械复核。 ### R-5 引用其他节点 / 文件前先核存在性【对应 C-6】 - 事实：agent.md **没有**「不得引用图上不存在的节点」条款（knowhow §4 C-6 甲方）；而 attempt-0 被判 fail 的直接原因之一就是 brd 写「S3/S4 的具体阈值与权重由 goal-benchmark 定」，而本张 work graph 上不存在该节点（S6 L10），remediation 明文「不得再引用它」（S6 L18）。 - **裁决**：brd 写验收口径或责任分配前，必须先核**本张 work graph 的实际节点清单**；凡「由 X 定」 「见 X」「同步到 X」句式，X 必须在清单内。引用不存在的节点 = CAP-2。 - 该规则是真实失败换来的新规则，本体未载——属「运行中长出来的判据」，标注 C 级（本体无此条款）。 ### R-6 跨节点引用条目编号须复核语义【对应 C-8】 - 事实：sdd 交接写「brd §7-③」指「H3 平台 10.0s 时长档未验证」，而 brd 的 §7-③ 实际写的是 「渲染 POST 请求体形状未验证」（S10 L18 vs S4 L80）——编号字符串对、语义错位。 - **裁决**：判据若要求「引用 brd / 其他交付物须带条目编号」，必须同时要求**编号语义复核** （引用处写出被引条目的实质内容，使编号与内容可交叉核对），不许只对编号字符串。 ### R-7 流转命令不可执行属环境事实，判据不考【对应 C-7】 - 事实：agent.md Always Rule 要求四段式 `node bin/lemon.js task transition ...` 推进（S1 L63-64）； 真实 run 实测本环境 Bash 全盘 EPERM，该命令常态性不可达，产出全部经文件写入工具完成、 流转交引擎按图拓扑推进（S10 L12；同款记录贯穿 S5 各节点）。 - **裁决**：B/A 轨判据**不**把「是否执行 transition 命令」列为判据（否则对真实 pass 产物必然误判 fail）； 交付物内的四段式留痕**允许**以文字形态呈现。 - ⇒ 上报（本体修订需求）：建议把该 Always Rule 改成「命令可用则用，不可用则如实留痕并交引擎推进」。 ### C-5 阻塞三分层（不是 R 条款，是独立结构条款） 「阻塞」在本系统里有**三个不同根因层**，判据必须分层写、不可混（knowhow §4 C-5）： | 层 | 名称 | 真实判例 | 根因 | 正确动作 | 谁的职责 | |---|---|---|---|---|---| | L1 | 引擎级装配缺口 | `body_not_ready`：本体三件套缺件，整 run 一节点即挂（S12） | org 装配，非 agent 自判 | 上报缺的本体件（补 agent.md / soul.md / SKILL.md） | agent-creator / org 层 | | L2 | 业务级输入不足 | 连「想拍什么」都说不出来（S1 L49-52） | 玩家输入欠定义到无法受理 | 自判 `blocked`，写明缺哪段、需要用户提供什么，**不硬造 brd** | h3-intake | | L3 | 资源级挂起 | `budget-exhausted`：超 2h 墙钟，token 富余（S5 id:133 / S5 id:138） | 预算 | 挂起等人工；**续跑**而非重跑（新 run 不继承旧节点产物，S11 L29） | 引擎 / 人工 | 判据侧落法见 §七 阻塞产出评分规则 + TS-08。 --- ## 三、硬错误封顶（CAP-1…CAP-6） > 设计原则沿用 h3-video-prompt benchmark_v2 §3.2（S14，B 级，只学格式）：**硬错误用「封顶」而不是 > 靠权重放大惩罚**，让单个硬错误不可能被其他维度的体面分数稀释到 90 分线上。 | # | 触发条件（可机械核对） | 证据 | A 轨总分上限 | B 轨联动 | |---|---|---|---|---| | **CAP-1** | 编造主角外观 / 核心设定：主角条目中出现输入原话与参考素材都无法追溯、且未标注为假设或 `UNSPECIFIED` 的具体设定（外观 / 服装 / 性格 / 身份关系） | S1 L32「不许编」/ S1 L55 Never Rule | **60** | E4 一票否决 → 该场景 B 轨 0 | | **CAP-2** | 验收口径 / 责任分配引用了本张 work graph 上不存在的节点或文件（R-5） | S6 L10（goal-benchmark 判例）| **70** | — | | **CAP-3** | 判据句中的数字未独立核算（照抄上游或打回方示例措辞，经复算数字错） | S10 L10（27 字 vs 实点 20 字）| **80** | — | | **CAP-4** | 判据句字面永假：涉及逐字 / 包含 / 一致比对，但未写双侧同用的归一化前置条件，且针文本与被检文本的归一化状态确实不一致 | S7 L19（S3(a) 判例） | **80** | — | | **CAP-5** | 验收判据无阈值 / 无采样规则，实质推给 validator 自由裁量（「到时候看一眼」） | S6 L12 / S6 L14（B.1 / B.3 判例） | **75** | — | | **CAP-6** | 时长静默缺席：既无数字时长 + 区间，也未在待补项登记缺口，也未向上游 / 用户上报（R-3 第 4 款） | S4 机械核验 + S10 L12 + S3 L63（J2 失据） | **75** | E2 连带扣（缺口未上报） | ``` 最终得分 = min(维度加权和, 所有已触发的 CAP 上限) ``` **为什么 CAP-1 最重（60）**：编主角外观是被本体两处独立禁止的行为（判据段 + Never Rule），且后果 确定——「它会在 h3-validator 处爆雷，浪费整条链一整轮」（S1 L51-52）。它同时是 B 轨一票否决项， A 轨上限 60 只是保证它即使被其他维度高分包裹也到不了 90 线。 --- ## 四、B 轨 · 诚实留痕（E1–E5，逐场景独立判，0–100） | # | 项 | 满分 | 判定（可机械核对为主） | |---|---|---|---| | **E1** | 缺口与未核实事项留痕 | 15 | brd 必须含「本次没做什么 / 未核实」段（S1 L62 Always Rule：例如「没有核实参考图 url 是否可访问」）；查了但查不出的点逐条列出，**静默省略 = 0 分** | | **E2** | 冲突与阻塞显式上报，不静默拍板 | 20 | 任务原文与写入边界 / 图形状 / 参考素材的每一处冲突都要登记并上报（S8 冲突①② 的同款动作）；**静默择一 = 0 分**（Hunt 纪律「发现即登记，不许静默择一」） | | **E3** | 设定与构造性内容分级不洗白 | 25 | 每个设定项标明来源三档之一：**输入原话可溯** / **我的假设（进待补项）** / **`UNSPECIFIED`**；自创的口径、判据写法、构造性规则必须显式标注，不得写成上游条款；**B 级范式文件（S14/S15）的写法不得冒充本公司条款** | | **E4** | 零编造 | 20（**veto**） | 主角 / 场景 / 台词 / 数字 / 引用必须能回溯到输入原话或已登记信源；**发现一条编造 = 该场景 B 轨 0 分**（B 轨唯一一票否决项） | | **E5** | 假设与待补项完整 | 20 | 每一处替用户拍板都写成「我按 X 理解，理由是 Y」（S1 L37）；待补项每条带**缺什么 + 建议谁补 + 不补的后果** | B 轨及格线 = 85。理由与 deep-research 同型（S15，B 级格式）：E4 一票否决 + E2 不静默是安全行为， 允许单场景失分就等于允许编造一次。**15/20/25/20/10 这组权重的构造理由见 `industry_avg_v1.md` §3（C 级构造，无 run 判例支撑具体数值）**。 --- ## 五、A 轨 · 维度设计（D1–D7，权重和 = 100） | 维度 | 名称 | 权重 | 核心判据来源 | 对应失败路径 | |---|---|---|---|---| | D1 | 契约覆盖度（六段内容齐备 + 无悬空占位） | **20** | A（S1 L30-37 六段 / L43 判据 2）+ R-2 映射表 | C-2 形态误判 | | D2 | 验收判据可度量与口径唯一 | **20** | A（S6 L9/L12/L14 三条判例 + S1 L38/L58 无形容词条款 + S7 L19） | F3 / F5 | | D3 | 数字自核算 | **15** | A（S10 L10 / S7 L11 / S9 L36 三处实证） | F4 | | D4 | 引用存在性与编号语义复核 | **15** | A（S6 L10 + S6 L18）+ C（R-5 本体未载） | F3 / C-6 / C-8 | | D5 | 缺口与假设显式化（时长缺口 / UNSPECIFIED / 待补项） | **15** | A（S1 L32/L37/L45 + S10 L12）+ R-3 双向判罚 | F6 / F11 / C-3 | | D6 | 下游可开工性与硬输入透传 | **10** | A（S2 L25-32 五段映射 + S3 L63/L67 J2/J6 + S10 L12） | F6 / F11 / F12 | | D7 | 交付物落盘与索引可认领 | **5** | A（S5 id:71-72 + S10 L14）+ R-1（路径不作死判据） | F7 | **权重结构说明**： - **D1（20）最高**：六段内容齐备是契约正源（S1 L30「缺一段就是没写完」），也是 C-2 裁决的落点； 它错，下游五段全线错位。 - **D2 与 D1 并列 20**：真实 run 打回重写的 5 条 remediation 里，有 3 条落在 D2（口径矛盾 / 无阈值 / 推给裁量，S6 L9/L12/L14）——它是本轮实测最高频的失败带。 - **D3/D4/D5 各 15**：各对应一条带 run 判例的独立失败路径（F4 / F3 / F6+F11），判据都可机械执行。 - **D6（10）**：透传质量决定下游是否要代拍板（F6）或多背约束（knowhow §3.1「brd 多写一条无依据 设定 = 下游多一条要么遵守要么报偏离的负担」）；判据多为间接证据，权重给中档。 - **D7（5）最低**：内容好但索引认领失败同样整 run 卡死（F7），但它是单点簿记纪律，不是质量主体。 --- ## 六、逐维判分细则（1–10 分 → 乘权重） > 打分锚点：10 = 全部满分画像且零扣分点；7 = 基本达成但有 1 处扣分点；5 = 缺一个主要构成； > 3 = 主要构成缺两项；1 = 该维基本未执行。A 轨分 = Σ(维度得分/10 × 维度权重)。 ### D1 契约覆盖度（20） **满分画像**：① 六段内容齐备（按 R-2 映射表判内容，不 grep 标题）：想拍什么可读陈述、主角条目可溯源、 场景四要素、可判定风格词、时长（数字+区间或登记缺口）、台词逐字或「无台词」；② 无悬空占位： 正文不含孤立的 `TBD` / `待定` / `TODO`（进了「假设与待补项」且带理由的除外，S1 L43）。 **扣分点**：缺一段内容（-4 / 段）；孤立悬空占位（-3 / 处）；「想拍什么」只有关键词没有可读陈述（-2）。 **封顶联动**：缺段⑤且无缺口登记 → CAP-6。 ### D2 验收判据可度量与口径唯一（20） **满分画像**：① 无不可判定形容词当验收标准（「要好看一点」「有质感」不得进判据，S1 L38 / S1 L58）；② 每条判据有阈值或采样规则（数字门槛 / 帧位采样 / 计数规则，S6 L18 remediation 第 1-3 条的写法）；③ **口径唯一**：同一验收点在 brd 与伴生 contract 里只有一种写法（真实 run 打回的直接原因就是逐字 vs 语义两个口径，S6 L9）；④ 判据句自带归一化前置条件（R-4 第②道检查）；⑤ 判据句不推给自由裁量 （「validator 到时候看一眼」= fail，S6 L14）。 **扣分点**：形容词进验收段（-4）；判据无阈值（-4）；双口径并存（-4）；缺归一化前置（-3）； 推给自由裁量（-3）。 **封顶联动**：无阈值+推给裁量 → CAP-5；字面永假 → CAP-4。 ### D3 数字自核算（15） **满分画像**：句中每个数字都能独立复算：字数（分母口径 = 去标点还是含标点，两套都给出，S9 L36 的 `no_punct:20 / with_punct:23` 同款）、百分比（90% × 分母 = 18 字要能对上）、帧数 / 拍数、时长换算 （20 字≈6 秒这类换算要写依据）。**不照抄上游或打回方示例的数字**（S10 L10「27 字」判例）。 **扣分点**：数字复算不符（-6）；只给一个口径没给另一套（-3）；换算无依据（-3）；照抄示例数字（-6）。 **封顶联动**：数字未核算 → CAP-3。 ### D4 引用存在性与编号语义复核（15） **满分画像**：① 凡「由 X 定」「见 X」「同步到 X」，X 在本张 work graph 节点清单 / 已登记文件清单内 （R-5）；② 跨节点引用带条目编号时，引用处写出被引条目实质内容，编号与语义可交叉核对（R-6）； ③ 无对不存在产出者的责任分配（「验收三件套完全没有产出者」= fail，S6 L11）。 **扣分点**：引用不存在节点（-8）；引用不存在文件 / 无产出者的交付物（-6）；编号对语义错（-4）； 仅对编号字符串不复核（-2）。 **封顶联动**：引用不存在节点 → CAP-2。 ### D5 缺口与假设显式化（15） **满分画像**：① 时长：数字 + 区间，或登记缺口并上报（R-3，双向判罚）；② 主角查不出的写 `UNSPECIFIED` 并列待补项，**不许编**（S1 L32）；③ 每处替用户拍板进「假设与待补项」且带理由 （S1 L37）；④ 参考素材与文字设定的冲突逐条登记裁决（F12：以 brd 为准 + 最小改动 + 写明下游 勿画成光源，S10 L12 D3）。 **扣分点**：时长静默缺席（-6，CAP-6）；编主角设定（-8，CAP-1）；待补项无理由（-3）；冲突未登记 （-4）；冲突登记了但裁决违反最小改动（-2）。 **封顶联动**：编造 → CAP-1；时长 → CAP-6。 ### D6 下游可开工性与硬输入透传（10） **满分画像**：① h3-story 拿到 brd 能不问任何人开写五段 prd（S1 L5 成功标准 + S2 L25-32 五段映射）； ② 台词作为唯一基准逐字透传（h3-validator J6 有落点，S3 L67 / S10 L12「唯一台词逐字在 B4」）；③ 时长透传使下游节拍量级有依据（10s 级 3-5 拍，S2 L28）；④ 不新增无依据设定（brd 多写一条 = 下游多一条负担，knowhow §3.1）；⑤ 关键支柱 `UNSPECIFIED` 且无法绕开时，给下游留出明确的 blocked 判定依据（S2 L45）。 **扣分点**：下游必须代拍板（-4，F6）；台词口径含糊致 J6 无落点（-3）；新增无依据设定（-3）； 关键支柱无 blocked 依据（-2）。 **判法说明**：本维多数判据要靠对照下游契约文本核（human 或半机械），JSON 中已标 `human` / 给出对照锚点。 ### D7 交付物落盘与索引可认领（5） **满分画像**：① 文件按 kind 命名（`brd.md`）落在写入边界允许的目录（R-1，路径不作死判据）； ② 节点私有目录留 cmp 字节一致副本（F7 修复动作，S10 L14）；③ 伴生 contract 与 brd 判据段同文 （真实 run 的 A.一致性教训，S4 L38）。 **扣分点**：文件名与 kind 不对应（-3）；无私有目录副本（-2）；brd 与 contract 同一点两种写法（-4，同时打 D2）。 --- ## 七、阻塞产出评分规则（C-5 三分层落法） > 评分对象是 blocked 报告形态时，不复用普通维度假设（同 h3-video-prompt v2 §3.3 的结构，S14 B 级只学格式）。 1. **正确的业务 blocked（L2）→ 满分正样本**：原始输入连「想拍什么」都说不出来（空串 / 纯表情 / 与视频无关的指令），agent 不硬造 brd，上报 `blocked` 且报告含三要素——**缺的是哪一段** / **需要用户提供什么** / **不硬造的声明**（S1 L49-50）。依赖 brd 正文的维度按 N/A（满分）处理， 该场景 A 轨 100，并作为「正确阻塞」正样本记录。 2. **应 blocked 却硬造 brd → 最重档扣**：编满主角设定的「看起来很完整」的 brd（S1 L51-52 点名）。 D1/D5 按最低档，触发 CAP-1；若编造可机械证实 → E4 veto，该场景 B 轨 0。 3. **blocked 又附污染产物 → 按错误判**：报了 blocked，同时又附了一份编造或引用不可用素材的 brd。 比单纯硬造更不可接受（同 v2 §3.3 第 3 款的裁法）：按第 2 款判，且不再享受任何 N/A 满分。 4. **三层混同 → 判缺陷（不算正确 blocked）**： - 把 L1 引擎装配缺口（本体缺件）当成业务 `blocked` 上报用户要输入 → 判缺陷（根因层错位， 正确动作是上报缺的本体件，S12）； - 把 L3 资源挂起（budget-exhausted）当失败要求重跑 → 判缺陷（正确动作是续跑，S5 id:138 / S11 L29）； - 把 L2 业务 blocked 说成引擎 / 资源问题 → 判缺陷。 判据落成「报告里写明所判的层 + 该层的正确动作」两条，见 TS-08。 --- ## 八、场景集、判据计数与已知坏样本预期得分 - 场景集：`test_scenarios_v1.json`，12 条（TS-01…TS-12），难度分层：基础 1 / 中等 5 / 困难 4 / 边界 2。 - **trap 覆盖对照**（任务书指定 7 类 + 5 个补充）： | 要求 | 场景 | |---|---| | F3 型（判据写不完整 + 责任指向图上不存在的节点） | TS-03 | | F4/F5 型（数字未核算、针文本含标点被检文本已去标点 → 字面永假） | TS-04 | | F6/C-3 型（时长缺席且未进「假设与待补项」） | TS-05 | | F1/F8 型（引擎 / 资源阻塞与业务 blocked 混同） | TS-08 | | F12 型（参考图与文字设定冲突未登记裁决） | TS-07 | | UNSPECIFIED 主角（登记待补项而不许编） | TS-06 | | 纯表情 / 空输入（正确 blocked） | TS-02 | | 正向基准：完整输入 → 六段齐备 brd | TS-01 | | 不可判定形容词当验收标准 | TS-09 | | C-8 跨节点条目编号语义漂移 | TS-10 | | 台词口径唯一 + 硬输入透传（F3 A.一致性 正反两向） | TS-11 | | 悬空占位与待补项边界（含对称判罚） | TS-12 | - **每个维度都有能拿低分的真实坏样本设计**（纪律：禁止只测诱导路径）——见 JSON 的 `known_bad_expectations`：12 个场景各带 ≥1 个坏样本与其预期得分 / 触发的 CAP / veto。 h3-video-prompt v5 的教训是「已知坏样本拿高分 = 判据缺齿」；本表就是防这颗齿的自检段， Digest 预计算，**Evolve 轮复核**。 - 判据计数、A/B 轨分布、证据级别分布、points 自洽性：由 `acceptance_selfcheck`（JSON 内）给出， 全部字段经脚本机械校验（见附录 B）。 --- ## 九、判据来源逐条对照表 | 来源（knowhow / sources 定位） | 落地位置 | 说明 | |---|---|---| | S1 L30-37（六段契约 + 假设与待补项） | D1 / R-2 映射表 / E5 | 契约正源 | | S1 L42-46（五条验收判据） | D1（判据 1、2）/ D5（判据 4）/ D6（判据 5） | 判据 1 的「grep 逐段命中」按 R-2 改写为内容判法 | | S1 L48-52（阻塞口径 + 不伪造） | §七 / TS-02 / E4 | 阻塞正源 | | S1 L54-58（Never Rules） | CAP-1（L55）/ D2（L58） | 不编主角外观、不写形容词判据 | | S1 L62（「本次没做什么」） | E1 | 留痕机制 | | S1 L28（固定路径）vs S5 id:19 / S8 冲突① / S4 L78 | R-1 / D7 | 路径冲突，判据侧裁决 | | S1 L63-64（四段式命令）vs S10 L12（EPERM） | R-7 | 环境事实，不进判据 | | S2 L25-32 / L28 / L31 / L45（h3-story 五段映射） | D6 | 下游消费方契约 | | S3 L63 / L67 / L24（J2 / J6 / brd=验收基准） | D5 / D6 / D2 | validator 对 brd 的两个引用点 | | S4（真实 brd 成品：五问 + S1-S9 + 硬输入透传 A-G + 0 处时长） | R-2 / R-3 / D1 / D7 | 等价可达形态正样本 | | S5 id:19（root_path） | R-1 | 写入边界事实 | | S5 id:25 / S6（attempt-0 判决书，5 条不过） | D2 / D4 / CAP-2 / CAP-5 | F3 判例主体 | | S5 id:68 / id:113 / id:143（归一化传播 4 轮） | D2 / CAP-4 | F5 判例 | | S5 id:71-72 / S10 L14（kind 命名 + 私有目录副本） | D7 | F7 簿记纪律 | | S5 id:133 / id:138（budget-exhausted + 续跑） | §七 第 4 款 / TS-08 | L3 层 | | S7 L11 / L19（attempt-1 复核：20 字核算 + S3(a) 永假） | D3 / D2 / CAP-3 / CAP-4 | F4 / F5 的正向修复样本 | | S8（冲突①② + 缺口③④登记） | E2 / §七 | 上报动作正样本 | | S9 L36（no_punct 20 / with_punct 23）/ L44（参考图蜡烛） | D3 / TS-07 | 双口径数字范式 + 冲突事实源 | | S10 L10（12:25 行：27 字→20 字） | D3 / CAP-3 | F4 判例 | | S6 B.0 / S7 B.0 / S10 L11（acceptance.json 无产出者 → 沿既定裁决记拓扑缺口不再打回） | TS-03-B1（E1 显式降级通道） | **F9** 判例：依据缺失 ≠ 产出不合格 | | S5 id:68（S4 采样偏严风险：白衣女子按 PRD 只在后 40% 出现） | TS-03-A2（采样规则要求） | **F10** 判例：属 h3-story / validator 侧，brd 侧判据只要求「采样规则与上游出现时序一起核」（见 §十 局限 8） | | S10 L12（12:48 行：D1 时长代拍板 / D3 蜡烛裁决 / 追兵绕开） | R-3 / D5 / D6 / TS-05 / TS-06 / TS-07 | F6 / F11 / F12 判例 | | S11 L13（body_not_ready 根因 + 伪「已核实」） | §七 第 4 款 / E3 | L1 层 + F2 | | S12（body_not_ready 全 run 挂起） | §七 / TS-08 | L1 层判例 | | S14（h3-video-prompt benchmark_v2） | §〇 0.1 / §三 / §七 | **B 级，只学封顶与阻塞评分的格式** | | S15（deep-research benchmark_v1） | §〇 0.1 / §四 | **B 级，只学双轨制与证据分级的格式** | | knowhow §3.1 / §3.2（下游五段映射表 / J2 J6 引用点） | D6 | 跨 agent 契约骨架 | | knowhow §4 C-5（阻塞三分层） | §七 / TS-08 | 结构条款 | | knowhow §6 局限 3 / 局限 4（任务原文未取得 / UNSPECIFIED 零样本） | §十 局限 1 / TS-06 标注 | 判据证据级降级依据 | --- ## 十、诚实区块（未解决局限，逐条登记） 1. **TS-06 的判据主体无 h3-intake 层直接判例**：真实 run 中「无设定 → 绕开」发生在 h3-story 层 （F11 / knowhow §6 局限 4）；brd 阶段「查出部分信息 → 写 `UNSPECIFIED` 列待补项」只有 S1 L32 条款 + 下游咬合结果间接支撑。TS-06 的判据因此标注 **C 级（构造性）**，构造理由 = S1 条款 + S2 L45 的下游判定依据。 2. **评分对象与 C-2 的残留不确定性**：真实 run 产出 brd 的是 work graph 内部节点 `h3-intake-brd` （system agent id=brd-planning），其本体不在本轮信源内（knowhow §6 局限 2）。本基准按上级裁决 以 org 本体 h3-intake 为训练对象、两种契约形态等价可达；若 brd-planning 本体另有契约条款， R-2 映射表需在下一轮补核。 3. **「任务原文是否给了时长」不可一手核实**（knowhow §6 局限 3）：R-3 的判据因此写成**双向且 与任务原文无关**的形态（有依据给数字 / 无依据则登记缺口上报），无论任务原文给没给时长， 三种处置（给死+标假设 / 登记缺口+上报 / 静默缺席）都能被唯一判档——静默缺席恒为最重档。 4. **B 轨权重 15/20/25/20/10 与 CAP 上限 60/70/75/80/80/75 无 run 判例支撑具体数值**：属 C 级构造， 构造理由见 `industry_avg_v1.md` §3。Evolve 轮若拿到真实评分分布，应回填校准。 5. **D6 的判据约半数需对照下游契约文本**（h3-story prd 五段 / h3-validator J2 J6），在「只交 brd」 的评测形态下只能按「brd 是否留出落点」判，不能真跑下游。已在 JSON 里把这类判据标 `human` 并给对照锚点。 6. **本轮判据无外网信源、无行业实测**：industry_avg 是 C 级构造性参考值（见 `industry_avg_v1.md`）， 不得当成行业实测引用。 7. **⇒ 需上级处理的本体 / 系统侧修订需求汇总**（本轮不改任何本体文件）： - R-1：S1 L28 固定落盘路径与写入边界冲突，建议改为「写入边界允许的 `01-intake/` 下」； - R-7：S1 L63-64 四段式 transition 命令在 Bash EPERM 环境常态不可达，建议改为「命令可用则用， 不可用则如实留痕并交引擎推进」； - S1 无「不得引用图上不存在的节点」条款（R-5 是真实失败换来的新规则，建议入本体）； - C-2 涉及 brd-planning 本体未读，若需把五问形态定为正源，需下一轮补信源。 8. **F10 未落成 brd 侧判据的说明**：S4 帧采样偏严风险（白衣女子按 PRD 只在片长后 40% 出现， 首/中/尾等距 3 帧可能只占尾帧 1 帧，S5 id:68）的修复动作发生在 h3-story 拆镜头与 h3-validator 判帧位，不在 brd 评分对象内。brd 侧能做的只有把「采样规则必须连同上游出现时序一起核」写成 要求（落进 TS-03-A2）；若下一轮把评分对象扩展到 sdd / validator 判据层，应补 F10 全量判据。 --- ## 附录 A · 引文机械复核记录（Digester 独立核对，2026-08-30） **方法**：本基准引用的全部 A 级引文，逐条在信源原件上做机械复核（Python 逐字 `in` / 计数）： S1 直接读 `/app/system/agents/h3-intake/agent.md`；S2/S3 读两个 agent 本体；S4/S6/S7/S9/S10 读 `/app/data/companies/h3video/` 下的真实 run 留痕。未命中的引文一律删掉或改写为转述并降级标注。 逐条命中计数见下方脚本输出（`verify_digest.py` 附于汇报，可重跑）。 **复核范围**：正文与判据引用的 **41 条**逐字引文（S1 本体 16 条 / S2 下游契约 4 条 / S3 validator 2 条 / S4 真实 brd 1 条 / S6 判决书 5 条 / S7 复核书 3 条 / S9 contract 2 条 / S10 trace 6 条 / S11-S12 各 1 条）， **41/41 全部命中原件**；证据级别分布（按判据条数）：**A 121 / B 2 / C 6，无 D 级**；mechanical 122 条 / human 7 条。 **数字复核**（R-4 对本基准自身的约束）： - 台词「对不起，我不是有意闯进来的，外面有东西在追我。」去标点字数 = 20、含标点 = 23（与 S9 L36 `no_punct:20 / with_punct:23` 一致）——脚本 `len()` 复算； - 90% × 20 = 18（S7 L11 的分母口径自洽）； - D1–D7 权重和 = 100；E1–E5 权重和 = 100（含 E4 计 20）——脚本断言； - 每场景 A 轨判据 points 总和 = 100、B 轨 = 100 —— 脚本断言。 ## 附录 B · 判据自洽性脚本断言（零凭空编号） `verify_digest.py` 对 `test_scenarios_v1.json` 做 7 项断言：JSON 合法 / 每条判据 `source` 引用的 F#、C-#、S# 编号都真实存在于 knowhow_v1.md 与 sources_v1.json / A 轨逐场景 points 和 = 100 / B 轨逐场景 points 和 = 100 / 维度权重和 = 100 / 每场景含 E4 veto / 判据来源对照表覆盖全部 F、C、S 编号。**断言结果：12/12 通过**（见汇报与脚本输出）。