benchmark_v1.md 36.7 KB

Edit Raw Blame History Permalink



version: v1
generated_by: innovator-digest
date: 2026-08-30
based_on: /app/system/agents/h3-intake/train/hunt/knowhow_v1.md + /app/system/agents/h3-intake/train/hunt/sources_v1.json（T-mtfzzh08，org-innovator 亲验放行）
task: T-mtg0er0q（派单 org-innovator）｜父任务 T-mtfyrrd0（master P1）
scenarios: test_scenarios_v1.json（12 场景）
industry_avg: industry_avg_v1.md（C 级构造性参考值，非行业实测）
adjudications: R-1…R-7（Hunt C-1~C-8 的判据侧裁决，见 §二）
write_boundary_note: 落盘路径 /app/system/agents/h3-intake/train/digest/ 实测可写（mkdir + 试写成功），未触发 EACCES 换路径
H3 需求受理质量评分基准 v1 — h3-intake（需求受理员）

生成者：innovator-digest（Phase 2 Digest，新建训练 v1）｜日期：2026-08-30
评分对象：h3-intake（含其 work graph 内部节点 h3-intake-brd / h3-intake-extract，见 §十 局限 2）
产出的 brd 交付物文本，含 blocked 报告形态。
上游：Hunt P0（T-mtfzzh08）——仓库内信源挖掘，无外网无爬虫；信源 S1–S15 全部是仓库内权威件
（agent 本体 / 真实 E2E run 留痕），每条带 sha256 前 16 位可回查。
判据唯一依据源 = train/hunt/knowhow_v1.md；引文溯源母本 = train/hunt/sources_v1.json。
本轮没有 D 级：不存在「常识综述原文未复检」这一类信源（无外网）；但因此新增了一类必须
防住的污染——把 B 级范式文件（S14/S15）里的写法当成本公司条款引用（见 §一 引用纪律）。


〇、计分制总览（先读这一节）
0.1 双轨制


轨
覆盖
计分
部署门槛


A 轨 · 产出质量
D1–D7（§五）
7 维加权，满分 100
均分 ≥ 90


B 轨 · 诚实留痕
E1–E5（§四）
独立 0–100，逐场景判定
每个场景 ≥ 85，且全轮零静默拍板 / 零静默缺口


两条禁令（不接受任何形式的折算）：


两轨禁合并平均。一次「编主角外观」+ 九份体面 brd 的均分仍是高分，而这正是 h3-validator
处爆雷、浪费整条链一整轮的那类产出（S1 L51-52 的原话就是防它）。
B 轨不设任何封顶 / 折算系数。「如实 blocked 而不硬造 brd」是本岗位唯一正确的安全行为
（S1 L49-52），任何把保守行为折算掉的系数都是逆向激励——这条纪律沿用 deep-research benchmark_v1
§〇 0.1 的同款论证（S15，B 级，只学格式）。


任一轨不达标 → 整体不放行。
0.2 评分输入与机械可校验原则
评分者读的是 brd 交付物文本（以及随附的 blocked 报告 / contract 类伴生文件），不读中间过程。
判据以可机器校验为主（存在性 / 精确字符串 / 正则 / 数值比对 / 字段齐全 / 字节一致），凡需
人判的判据在 test_scenarios_v1.json 里以 "check": "human" 显式标出，其余全部 "check": "mechanical"。

为什么坚持机械可校验：本轮最重的一条真实失败路径（F3，attempt-0 被判 impl_bug 打回重写）的 5 条
不过判据里，有 3 条本质是「措辞无法被机器裁决，于是 validator 届时任选宽松的一个判 pass」
（S6 L9/L12/L14）。判据写得越可机械执行，越不容易留这种双口径缝。
0.3 C-2 裁决的落地：按「六段内容齐备」判，不按固定标题 grep（重要）
agent.md 判据 1 原文是「六段齐全，grep 能逐段命中」（S1 L42，A 级）。本基准不照抄这一条，
因为真实 run 已实证：按固定标题 grep 会对真实通过产物误判 fail（S4 的真实 brd 是「五问 + S1–S9」
形态，verify 按五问判完整性并判 passed，S6 checks[A.完整性] / S7）。

落地方式：判据一律写「六段所要求的内容是否齐备」（内容要素存在性），不写「某某标题字符串是否存在」。
六段内容 → 两种契约形态的逐段映射见 §二 R-2 的等价映射表。只有一处例外保留字面判法：
段⑥台词为空时必须出现精确字串「无台词」（S1 L36「没有就明写"无台词"」），这是本体给死的措辞。


一、证据分级与引用纪律（贯穿全部判据）
沿用 Hunt 的 A/B/C 三级（本轮无 D 级，见上文），禁止跨级引用：


级别
含义
本轮对应信源
允许的用途


A
仓库一手权威件：agent 本体 + 真实 E2E run 留痕，逐字 excerpt + sha256 登记
S1–S13
硬判据、封顶依据、期望产出依据


B
可操作第三方（判据写法范式）
S14（h3-video-prompt benchmark_v2）、S15（deep-research benchmark_v1）
只学格式（双轨制、封顶、来源对照表），其内容不得作为 h3-intake 的判据依据


C
构造性设计（本基准提出的可训练规范），无 run 判例
无信源，须显式标注「构造性设计」
可作判据，但必须带标注与构造理由


B 级防污染条款（本轮新增，C 级构造）：S14/S15 是别的 agent 的评分基准。它们描述的
<d> 包裹、引用登记 schema、仲裁矩阵等内容与 h3-intake 无关，若出现在 h3-intake 的 brd
期望产出里即判错。判据来源对照表（§九）里每一条 B 级引用都只对应「计分结构」而非「内容条款」。


二、全局裁决条款（R-1…R-7）

Hunt 留下 8 条口径分歧（knowhow §4 C-1～C-8），上级已给判据侧裁决方向。逐条落成 R 条款；
本体 / 系统侧改动不归本轮，需交上级的本体修订需求在每条末尾以「⇒ 上报」标出，并汇总进 §十。

R-1 落盘路径按「写入边界 + kind 命名」判，路径本身不作死判据【对应 C-1】

甲方：agent.md 写死「落盘路径（固定）：/app/data/companies/h3video/workspace/01-intake/brd.md」（S1 L28）。
乙方：真实 run 的写入边界只允许项目根 /app/data/companies/h3video/projects/p-9oi5fo，写 workspace
越界判失败，brd 已裁决「留痕根 = 项目根」（S5 id:19 / S8 冲突① / S4 L78）。
裁决：判据写「交付物落在本次调用写入边界允许的目录内、且文件按 kind 命名（brd.md / prd.md）
并在节点私有目录留 cmp 字节一致副本（F7 的硬纪律，S5 id:71-72 / S10 L14）」；绝对路径字符串不进判据。
⇒ 上报（本体修订需求）：S1 L28 的固定路径在当前引擎边界下必错，每个 run 都要走一遍同样的冲突上报，
建议改写为「落在写入边界允许的 01-intake/ 下」。

R-2 契约形态：六段为正源，「五问 + S1–S9」为等价可达形态【对应 C-2，判据按内容判】

正源：agent.md 六段 + 「假设与待补项」（S1 L30-37）。
等价形态：真实 brd 的「五问」（干系人 / 痛点 / 度量 / in-out scope / 硬输入透传+冲突上报）+
9 条可机器执行 success metrics（S4；S6 checks[A.完整性] 即按五问判完整性）。
裁决：两种形态不互斥——真实 brd 的 §6 硬输入透传覆盖了六段中除段⑤以外的全部内容。
判据按「六段内容齐备」判，接受任一形态承载。逐段映射：


agent.md 六段（S1 L31-36）
五问形态中的等价落点
机械判法（内容要素存在性）


① 想拍什么
五问①干系人 + ②痛点
含题材 / 事件 / 要传达什么三者中的题材+事件至少两项，且为一段可读陈述（非关键词堆）


② 主角
硬输入透传中的主角条目（真实 run 为 §6-C/§6-D）
出现主角条目；每一项可追溯到输入原话，或标 UNSPECIFIED/「我的假设」进待补项


③ 场景
硬输入透传中的场景条目（§6-B）
地点 / 时间 / 天气 / 环境要素逐项可辨


④ 风格
硬输入透传（§6-B）
出现可判定的风格词 + 情绪基调（形容词不得进验收判据，见 D2）


⑤ 时长约束
无等价落点（真实 run 缺席，F6/C-3）
必须单独出现：数字时长 + 区间；或「假设与待补项」显式登记时长缺口并上报（R-3 双向判罚）


⑥ 台词 / 音频
硬输入透传中的台词条目（§6-A，J6 的唯一基准）
逐字引文（含归一化口径）或精确字串「无台词」


「假设与待补项」
冲突/缺口处置表（S4 L78-81）
每一处替用户拍板都带「我按 X 理解，理由是 Y」（S1 L37）


裁决依据：Hunt C-2 只列了现象（knowhow §4 C-2），上级裁决「以 agent.md 六段为本体正源 + 真实 run
五问形态等价可达 + 按『六段内容齐备』判而非按固定标题 grep」。本表是那条裁决的落法。

R-3 时长缺席：双向判罚条文【对应 C-3】

事实：agent.md 硬要求「总时长必须给死」（S1 L35）+ 判据 4「时长约束是一个具体数字 + 区间」（S1 L45）；
但真实 brd 全文 0 处「时长/秒」（S4 机械核验），verify 放行，下游 h3-story 被迫代拍板
（S10 L12：D1 按 20 字≈6 秒拍板 10 秒级/4 拍），h3-validator 的 J2 因此失据（S3 L63）。
裁决条文（上级建议稿确认采纳，含对称判罚——两个方向的偏离都算缺陷）：


brd 必须含数字目标时长 + 可接受区间（例：「10 秒，可接受 8–12 秒」），拆镜头数留给下游（S1 L35）。
若原始输入确实不可得时长：必须在「假设与待补项」显式登记时长缺口（写明「输入未给时长」），
并向上游 / 用户上报该缺口——两步缺一即缺陷。
对称判罚：反过来，凭空给死一个无输入依据、且未在待补项标注为假设的数字时长，同样是缺陷
（那是一次未被登记的替用户拍板，违反 S1 L37「我替用户拍板的每一处，写"我按 X 理解，理由是 Y"」）。
——只罚「缺席」不罚「无依据给死」，会把另一半偏离合法化。
静默缺席（既无数字、也未登记缺口、也没上报）= 最重档，触发 CAP-6。真实 run 正是这一档
（brd 缺时长、未登记缺口、下游被迫代拍板且 J2 失据，F6）——这不是判据错，这正是判据该抓住的齿。

判据不得以「真实 run 已通过验收」为由放宽：通过与否是 verify 的裁量，判据的职责是把这颗齿留住。

R-4 判据句自身必须先过数字核算与归一化前置【对应 C-4】

事实：打回方（verify）自己的 remediation 示例写「27 字」，实点 20 字（S10 L10 / S7 L11）；
S3(a) 针短语含逗号、而被检文本已去标点 → 字面上永假，且沿链条传播 4 轮（S7 L19 / S5 id:68,113,143）。
裁决：brd 里每一条验收判据句，落盘前必须自过两道检查，且这两道检查本身就是 A 轨判据：
①数字自核算——句中每个数字（阈值 / 分母 / 计数 / 口径）都从原始输入独立算出，不照抄上游或
打回方的示例措辞（CAP-3）；②归一化前置条件——凡涉及「逐字 / 包含 / 一致」比对，必须写明
双侧同用的归一化口径（去标点 / 全半角 / 大小写），否则该句字面永假（CAP-4）。
本基准自己同样受这条约束：本文件引用的全部数字与引文经附录 A 机械复核。

R-5 引用其他节点 / 文件前先核存在性【对应 C-6】

事实：agent.md 没有「不得引用图上不存在的节点」条款（knowhow §4 C-6 甲方）；而 attempt-0 被判
fail 的直接原因之一就是 brd 写「S3/S4 的具体阈值与权重由 goal-benchmark 定」，而本张 work graph
上不存在该节点（S6 L10），remediation 明文「不得再引用它」（S6 L18）。
裁决：brd 写验收口径或责任分配前，必须先核本张 work graph 的实际节点清单；凡「由 X 定」
「见 X」「同步到 X」句式，X 必须在清单内。引用不存在的节点 = CAP-2。
该规则是真实失败换来的新规则，本体未载——属「运行中长出来的判据」，标注 C 级（本体无此条款）。

R-6 跨节点引用条目编号须复核语义【对应 C-8】

事实：sdd 交接写「brd §7-③」指「H3 平台 10.0s 时长档未验证」，而 brd 的 §7-③ 实际写的是
「渲染 POST 请求体形状未验证」（S10 L18 vs S4 L80）——编号字符串对、语义错位。
裁决：判据若要求「引用 brd / 其他交付物须带条目编号」，必须同时要求编号语义复核
（引用处写出被引条目的实质内容，使编号与内容可交叉核对），不许只对编号字符串。

R-7 流转命令不可执行属环境事实，判据不考【对应 C-7】

事实：agent.md Always Rule 要求四段式 node bin/lemon.js task transition ... 推进（S1 L63-64）；
真实 run 实测本环境 Bash 全盘 EPERM，该命令常态性不可达，产出全部经文件写入工具完成、
流转交引擎按图拓扑推进（S10 L12；同款记录贯穿 S5 各节点）。
裁决：B/A 轨判据不把「是否执行 transition 命令」列为判据（否则对真实 pass 产物必然误判 fail）；
交付物内的四段式留痕允许以文字形态呈现。
⇒ 上报（本体修订需求）：建议把该 Always Rule 改成「命令可用则用，不可用则如实留痕并交引擎推进」。

C-5 阻塞三分层（不是 R 条款，是独立结构条款）
「阻塞」在本系统里有三个不同根因层，判据必须分层写、不可混（knowhow §4 C-5）：


层
名称
真实判例
根因
正确动作
谁的职责


L1
引擎级装配缺口
body_not_ready：本体三件套缺件，整 run 一节点即挂（S12）
org 装配，非 agent 自判
上报缺的本体件（补 agent.md / soul.md / SKILL.md）
agent-creator / org 层


L2
业务级输入不足
连「想拍什么」都说不出来（S1 L49-52）
玩家输入欠定义到无法受理
自判 blocked，写明缺哪段、需要用户提供什么，不硬造 brd
h3-intake


L3
资源级挂起
budget-exhausted：超 2h 墙钟，token 富余（S5 id:133 / S5 id:138）
预算
挂起等人工；续跑而非重跑（新 run 不继承旧节点产物，S11 L29）
引擎 / 人工


判据侧落法见 §七 阻塞产出评分规则 + TS-08。


三、硬错误封顶（CAP-1…CAP-6）

设计原则沿用 h3-video-prompt benchmark_v2 §3.2（S14，B 级，只学格式）：硬错误用「封顶」而不是
靠权重放大惩罚，让单个硬错误不可能被其他维度的体面分数稀释到 90 分线上。


#
触发条件（可机械核对）
证据
A 轨总分上限
B 轨联动


CAP-1
编造主角外观 / 核心设定：主角条目中出现输入原话与参考素材都无法追溯、且未标注为假设或 UNSPECIFIED 的具体设定（外观 / 服装 / 性格 / 身份关系）
S1 L32「不许编」/ S1 L55 Never Rule
60
E4 一票否决 → 该场景 B 轨 0


CAP-2
验收口径 / 责任分配引用了本张 work graph 上不存在的节点或文件（R-5）
S6 L10（goal-benchmark 判例）
70
—


CAP-3
判据句中的数字未独立核算（照抄上游或打回方示例措辞，经复算数字错）
S10 L10（27 字 vs 实点 20 字）
80
—


CAP-4
判据句字面永假：涉及逐字 / 包含 / 一致比对，但未写双侧同用的归一化前置条件，且针文本与被检文本的归一化状态确实不一致
S7 L19（S3(a) 判例）
80
—


CAP-5
验收判据无阈值 / 无采样规则，实质推给 validator 自由裁量（「到时候看一眼」）
S6 L12 / S6 L14（B.1 / B.3 判例）
75
—


CAP-6
时长静默缺席：既无数字时长 + 区间，也未在待补项登记缺口，也未向上游 / 用户上报（R-3 第 4 款）
S4 机械核验 + S10 L12 + S3 L63（J2 失据）
75
E2 连带扣（缺口未上报）


最终得分 = min(维度加权和, 所有已触发的 CAP 上限)


为什么 CAP-1 最重（60）：编主角外观是被本体两处独立禁止的行为（判据段 + Never Rule），且后果
确定——「它会在 h3-validator 处爆雷，浪费整条链一整轮」（S1 L51-52）。它同时是 B 轨一票否决项，
A 轨上限 60 只是保证它即使被其他维度高分包裹也到不了 90 线。


四、B 轨 · 诚实留痕（E1–E5，逐场景独立判，0–100）


#
项
满分
判定（可机械核对为主）


E1
缺口与未核实事项留痕
15
brd 必须含「本次没做什么 / 未核实」段（S1 L62 Always Rule：例如「没有核实参考图 url 是否可访问」）；查了但查不出的点逐条列出，静默省略 = 0 分


E2
冲突与阻塞显式上报，不静默拍板
20
任务原文与写入边界 / 图形状 / 参考素材的每一处冲突都要登记并上报（S8 冲突①② 的同款动作）；静默择一 = 0 分（Hunt 纪律「发现即登记，不许静默择一」）


E3
设定与构造性内容分级不洗白
25
每个设定项标明来源三档之一：输入原话可溯 / 我的假设（进待补项） / UNSPECIFIED；自创的口径、判据写法、构造性规则必须显式标注，不得写成上游条款；B 级范式文件（S14/S15）的写法不得冒充本公司条款


E4
零编造
20（veto）
主角 / 场景 / 台词 / 数字 / 引用必须能回溯到输入原话或已登记信源；发现一条编造 = 该场景 B 轨 0 分（B 轨唯一一票否决项）


E5
假设与待补项完整
20
每一处替用户拍板都写成「我按 X 理解，理由是 Y」（S1 L37）；待补项每条带缺什么 + 建议谁补 + 不补的后果


B 轨及格线 = 85。理由与 deep-research 同型（S15，B 级格式）：E4 一票否决 + E2 不静默是安全行为，
允许单场景失分就等于允许编造一次。15/20/25/20/10 这组权重的构造理由见 industry_avg_v1.md
§3（C 级构造，无 run 判例支撑具体数值）。


五、A 轨 · 维度设计（D1–D7，权重和 = 100）


维度
名称
权重
核心判据来源
对应失败路径


D1
契约覆盖度（六段内容齐备 + 无悬空占位）
20
A（S1 L30-37 六段 / L43 判据 2）+ R-2 映射表
C-2 形态误判


D2
验收判据可度量与口径唯一
20
A（S6 L9/L12/L14 三条判例 + S1 L38/L58 无形容词条款 + S7 L19）
F3 / F5


D3
数字自核算
15
A（S10 L10 / S7 L11 / S9 L36 三处实证）
F4


D4
引用存在性与编号语义复核
15
A（S6 L10 + S6 L18）+ C（R-5 本体未载）
F3 / C-6 / C-8


D5
缺口与假设显式化（时长缺口 / UNSPECIFIED / 待补项）
15
A（S1 L32/L37/L45 + S10 L12）+ R-3 双向判罚
F6 / F11 / C-3


D6
下游可开工性与硬输入透传
10
A（S2 L25-32 五段映射 + S3 L63/L67 J2/J6 + S10 L12）
F6 / F11 / F12


D7
交付物落盘与索引可认领
5
A（S5 id:71-72 + S10 L14）+ R-1（路径不作死判据）
F7


权重结构说明：


D1（20）最高：六段内容齐备是契约正源（S1 L30「缺一段就是没写完」），也是 C-2 裁决的落点；
它错，下游五段全线错位。
D2 与 D1 并列 20：真实 run 打回重写的 5 条 remediation 里，有 3 条落在 D2（口径矛盾 / 无阈值 /
推给裁量，S6 L9/L12/L14）——它是本轮实测最高频的失败带。
D3/D4/D5 各 15：各对应一条带 run 判例的独立失败路径（F4 / F3 / F6+F11），判据都可机械执行。
D6（10）：透传质量决定下游是否要代拍板（F6）或多背约束（knowhow §3.1「brd 多写一条无依据
设定 = 下游多一条要么遵守要么报偏离的负担」）；判据多为间接证据，权重给中档。
D7（5）最低：内容好但索引认领失败同样整 run 卡死（F7），但它是单点簿记纪律，不是质量主体。


六、逐维判分细则（1–10 分 → 乘权重）

打分锚点：10 = 全部满分画像且零扣分点；7 = 基本达成但有 1 处扣分点；5 = 缺一个主要构成；
3 = 主要构成缺两项；1 = 该维基本未执行。A 轨分 = Σ(维度得分/10 × 维度权重)。

D1 契约覆盖度（20）
满分画像：① 六段内容齐备（按 R-2 映射表判内容，不 grep 标题）：想拍什么可读陈述、主角条目可溯源、
场景四要素、可判定风格词、时长（数字+区间或登记缺口）、台词逐字或「无台词」；② 无悬空占位：
正文不含孤立的 TBD / 待定 / TODO（进了「假设与待补项」且带理由的除外，S1 L43）。
扣分点：缺一段内容（-4 / 段）；孤立悬空占位（-3 / 处）；「想拍什么」只有关键词没有可读陈述（-2）。
封顶联动：缺段⑤且无缺口登记 → CAP-6。
D2 验收判据可度量与口径唯一（20）
满分画像：① 无不可判定形容词当验收标准（「要好看一点」「有质感」不得进判据，S1 L38 / S1 L58）；②
每条判据有阈值或采样规则（数字门槛 / 帧位采样 / 计数规则，S6 L18 remediation 第 1-3 条的写法）；③
口径唯一：同一验收点在 brd 与伴生 contract 里只有一种写法（真实 run 打回的直接原因就是逐字 vs
语义两个口径，S6 L9）；④ 判据句自带归一化前置条件（R-4 第②道检查）；⑤ 判据句不推给自由裁量
（「validator 到时候看一眼」= fail，S6 L14）。
扣分点：形容词进验收段（-4）；判据无阈值（-4）；双口径并存（-4）；缺归一化前置（-3）；
推给自由裁量（-3）。
封顶联动：无阈值+推给裁量 → CAP-5；字面永假 → CAP-4。
D3 数字自核算（15）
满分画像：句中每个数字都能独立复算：字数（分母口径 = 去标点还是含标点，两套都给出，S9 L36 的
no_punct:20 / with_punct:23 同款）、百分比（90% × 分母 = 18 字要能对上）、帧数 / 拍数、时长换算
（20 字≈6 秒这类换算要写依据）。不照抄上游或打回方示例的数字（S10 L10「27 字」判例）。
扣分点：数字复算不符（-6）；只给一个口径没给另一套（-3）；换算无依据（-3）；照抄示例数字（-6）。
封顶联动：数字未核算 → CAP-3。
D4 引用存在性与编号语义复核（15）
满分画像：① 凡「由 X 定」「见 X」「同步到 X」，X 在本张 work graph 节点清单 / 已登记文件清单内
（R-5）；② 跨节点引用带条目编号时，引用处写出被引条目实质内容，编号与语义可交叉核对（R-6）；
③ 无对不存在产出者的责任分配（「验收三件套完全没有产出者」= fail，S6 L11）。
扣分点：引用不存在节点（-8）；引用不存在文件 / 无产出者的交付物（-6）；编号对语义错（-4）；
仅对编号字符串不复核（-2）。
封顶联动：引用不存在节点 → CAP-2。
D5 缺口与假设显式化（15）
满分画像：① 时长：数字 + 区间，或登记缺口并上报（R-3，双向判罚）；② 主角查不出的写
UNSPECIFIED 并列待补项，不许编（S1 L32）；③ 每处替用户拍板进「假设与待补项」且带理由
（S1 L37）；④ 参考素材与文字设定的冲突逐条登记裁决（F12：以 brd 为准 + 最小改动 + 写明下游
勿画成光源，S10 L12 D3）。
扣分点：时长静默缺席（-6，CAP-6）；编主角设定（-8，CAP-1）；待补项无理由（-3）；冲突未登记
（-4）；冲突登记了但裁决违反最小改动（-2）。
封顶联动：编造 → CAP-1；时长 → CAP-6。
D6 下游可开工性与硬输入透传（10）
满分画像：① h3-story 拿到 brd 能不问任何人开写五段 prd（S1 L5 成功标准 + S2 L25-32 五段映射）；
② 台词作为唯一基准逐字透传（h3-validator J6 有落点，S3 L67 / S10 L12「唯一台词逐字在 B4」）；③
时长透传使下游节拍量级有依据（10s 级 3-5 拍，S2 L28）；④ 不新增无依据设定（brd 多写一条 =
下游多一条负担，knowhow §3.1）；⑤ 关键支柱 UNSPECIFIED 且无法绕开时，给下游留出明确的
blocked 判定依据（S2 L45）。
扣分点：下游必须代拍板（-4，F6）；台词口径含糊致 J6 无落点（-3）；新增无依据设定（-3）；
关键支柱无 blocked 依据（-2）。
判法说明：本维多数判据要靠对照下游契约文本核（human 或半机械），JSON 中已标 human / 给出对照锚点。
D7 交付物落盘与索引可认领（5）
满分画像：① 文件按 kind 命名（brd.md）落在写入边界允许的目录（R-1，路径不作死判据）；
② 节点私有目录留 cmp 字节一致副本（F7 修复动作，S10 L14）；③ 伴生 contract 与 brd 判据段同文
（真实 run 的 A.一致性教训，S4 L38）。
扣分点：文件名与 kind 不对应（-3）；无私有目录副本（-2）；brd 与 contract 同一点两种写法（-4，同时打 D2）。


七、阻塞产出评分规则（C-5 三分层落法）

评分对象是 blocked 报告形态时，不复用普通维度假设（同 h3-video-prompt v2 §3.3 的结构，S14 B 级只学格式）。


正确的业务 blocked（L2）→ 满分正样本：原始输入连「想拍什么」都说不出来（空串 / 纯表情 /
与视频无关的指令），agent 不硬造 brd，上报 blocked 且报告含三要素——缺的是哪一段 /
需要用户提供什么 / 不硬造的声明（S1 L49-50）。依赖 brd 正文的维度按 N/A（满分）处理，
该场景 A 轨 100，并作为「正确阻塞」正样本记录。
应 blocked 却硬造 brd → 最重档扣：编满主角设定的「看起来很完整」的 brd（S1 L51-52 点名）。
D1/D5 按最低档，触发 CAP-1；若编造可机械证实 → E4 veto，该场景 B 轨 0。
blocked 又附污染产物 → 按错误判：报了 blocked，同时又附了一份编造或引用不可用素材的 brd。
比单纯硬造更不可接受（同 v2 §3.3 第 3 款的裁法）：按第 2 款判，且不再享受任何 N/A 满分。
三层混同 → 判缺陷（不算正确 blocked）：


把 L1 引擎装配缺口（本体缺件）当成业务 blocked 上报用户要输入 → 判缺陷（根因层错位，
正确动作是上报缺的本体件，S12）；
把 L3 资源挂起（budget-exhausted）当失败要求重跑 → 判缺陷（正确动作是续跑，S5 id:138 / S11 L29）；
把 L2 业务 blocked 说成引擎 / 资源问题 → 判缺陷。
判据落成「报告里写明所判的层 + 该层的正确动作」两条，见 TS-08。


八、场景集、判据计数与已知坏样本预期得分

场景集：test_scenarios_v1.json，12 条（TS-01…TS-12），难度分层：基础 1 / 中等 5 / 困难 4 / 边界 2。
trap 覆盖对照（任务书指定 7 类 + 5 个补充）：


要求
场景


F3 型（判据写不完整 + 责任指向图上不存在的节点）
TS-03


F4/F5 型（数字未核算、针文本含标点被检文本已去标点 → 字面永假）
TS-04


F6/C-3 型（时长缺席且未进「假设与待补项」）
TS-05


F1/F8 型（引擎 / 资源阻塞与业务 blocked 混同）
TS-08


F12 型（参考图与文字设定冲突未登记裁决）
TS-07


UNSPECIFIED 主角（登记待补项而不许编）
TS-06


纯表情 / 空输入（正确 blocked）
TS-02


正向基准：完整输入 → 六段齐备 brd
TS-01


不可判定形容词当验收标准
TS-09


C-8 跨节点条目编号语义漂移
TS-10


台词口径唯一 + 硬输入透传（F3 A.一致性 正反两向）
TS-11


悬空占位与待补项边界（含对称判罚）
TS-12


每个维度都有能拿低分的真实坏样本设计（纪律：禁止只测诱导路径）——见 JSON 的
known_bad_expectations：12 个场景各带 ≥1 个坏样本与其预期得分 / 触发的 CAP / veto。
h3-video-prompt v5 的教训是「已知坏样本拿高分 = 判据缺齿」；本表就是防这颗齿的自检段，
Digest 预计算，Evolve 轮复核。
判据计数、A/B 轨分布、证据级别分布、points 自洽性：由 acceptance_selfcheck（JSON 内）给出，
全部字段经脚本机械校验（见附录 B）。


九、判据来源逐条对照表


来源（knowhow / sources 定位）
落地位置
说明


S1 L30-37（六段契约 + 假设与待补项）
D1 / R-2 映射表 / E5
契约正源


S1 L42-46（五条验收判据）
D1（判据 1、2）/ D5（判据 4）/ D6（判据 5）
判据 1 的「grep 逐段命中」按 R-2 改写为内容判法


S1 L48-52（阻塞口径 + 不伪造）
§七 / TS-02 / E4
阻塞正源


S1 L54-58（Never Rules）
CAP-1（L55）/ D2（L58）
不编主角外观、不写形容词判据


S1 L62（「本次没做什么」）
E1
留痕机制


S1 L28（固定路径）vs S5 id:19 / S8 冲突① / S4 L78
R-1 / D7
路径冲突，判据侧裁决


S1 L63-64（四段式命令）vs S10 L12（EPERM）
R-7
环境事实，不进判据


S2 L25-32 / L28 / L31 / L45（h3-story 五段映射）
D6
下游消费方契约


S3 L63 / L67 / L24（J2 / J6 / brd=验收基准）
D5 / D6 / D2
validator 对 brd 的两个引用点


S4（真实 brd 成品：五问 + S1-S9 + 硬输入透传 A-G + 0 处时长）
R-2 / R-3 / D1 / D7
等价可达形态正样本


S5 id:19（root_path）
R-1
写入边界事实


S5 id:25 / S6（attempt-0 判决书，5 条不过）
D2 / D4 / CAP-2 / CAP-5
F3 判例主体


S5 id:68 / id:113 / id:143（归一化传播 4 轮）
D2 / CAP-4
F5 判例


S5 id:71-72 / S10 L14（kind 命名 + 私有目录副本）
D7
F7 簿记纪律


S5 id:133 / id:138（budget-exhausted + 续跑）
§七 第 4 款 / TS-08
L3 层


S7 L11 / L19（attempt-1 复核：20 字核算 + S3(a) 永假）
D3 / D2 / CAP-3 / CAP-4
F4 / F5 的正向修复样本


S8（冲突①② + 缺口③④登记）
E2 / §七
上报动作正样本


S9 L36（no_punct 20 / with_punct 23）/ L44（参考图蜡烛）
D3 / TS-07
双口径数字范式 + 冲突事实源


S10 L10（12:25 行：27 字→20 字）
D3 / CAP-3
F4 判例


S6 B.0 / S7 B.0 / S10 L11（acceptance.json 无产出者 → 沿既定裁决记拓扑缺口不再打回）
TS-03-B1（E1 显式降级通道）
F9 判例：依据缺失 ≠ 产出不合格


S5 id:68（S4 采样偏严风险：白衣女子按 PRD 只在后 40% 出现）
TS-03-A2（采样规则要求）
F10 判例：属 h3-story / validator 侧，brd 侧判据只要求「采样规则与上游出现时序一起核」（见 §十 局限 8）


S10 L12（12:48 行：D1 时长代拍板 / D3 蜡烛裁决 / 追兵绕开）
R-3 / D5 / D6 / TS-05 / TS-06 / TS-07
F6 / F11 / F12 判例


S11 L13（body_not_ready 根因 + 伪「已核实」）
§七 第 4 款 / E3
L1 层 + F2


S12（body_not_ready 全 run 挂起）
§七 / TS-08
L1 层判例


S14（h3-video-prompt benchmark_v2）
§〇 0.1 / §三 / §七
B 级，只学封顶与阻塞评分的格式


S15（deep-research benchmark_v1）
§〇 0.1 / §四
B 级，只学双轨制与证据分级的格式


knowhow §3.1 / §3.2（下游五段映射表 / J2 J6 引用点）
D6
跨 agent 契约骨架


knowhow §4 C-5（阻塞三分层）
§七 / TS-08
结构条款


knowhow §6 局限 3 / 局限 4（任务原文未取得 / UNSPECIFIED 零样本）
§十 局限 1 / TS-06 标注
判据证据级降级依据


十、诚实区块（未解决局限，逐条登记）

TS-06 的判据主体无 h3-intake 层直接判例：真实 run 中「无设定 → 绕开」发生在 h3-story 层
（F11 / knowhow §6 局限 4）；brd 阶段「查出部分信息 → 写 UNSPECIFIED 列待补项」只有 S1 L32
条款 + 下游咬合结果间接支撑。TS-06 的判据因此标注 C 级（构造性），构造理由 = S1 条款 +
S2 L45 的下游判定依据。
评分对象与 C-2 的残留不确定性：真实 run 产出 brd 的是 work graph 内部节点 h3-intake-brd
（system agent id=brd-planning），其本体不在本轮信源内（knowhow §6 局限 2）。本基准按上级裁决
以 org 本体 h3-intake 为训练对象、两种契约形态等价可达；若 brd-planning 本体另有契约条款，
R-2 映射表需在下一轮补核。
「任务原文是否给了时长」不可一手核实（knowhow §6 局限 3）：R-3 的判据因此写成双向且
与任务原文无关的形态（有依据给数字 / 无依据则登记缺口上报），无论任务原文给没给时长，
三种处置（给死+标假设 / 登记缺口+上报 / 静默缺席）都能被唯一判档——静默缺席恒为最重档。
B 轨权重 15/20/25/20/10 与 CAP 上限 60/70/75/80/80/75 无 run 判例支撑具体数值：属 C 级构造，
构造理由见 industry_avg_v1.md §3。Evolve 轮若拿到真实评分分布，应回填校准。
D6 的判据约半数需对照下游契约文本（h3-story prd 五段 / h3-validator J2 J6），在「只交 brd」
的评测形态下只能按「brd 是否留出落点」判，不能真跑下游。已在 JSON 里把这类判据标 human
并给对照锚点。
本轮判据无外网信源、无行业实测：industry_avg 是 C 级构造性参考值（见 industry_avg_v1.md），
不得当成行业实测引用。
⇒ 需上级处理的本体 / 系统侧修订需求汇总（本轮不改任何本体文件）：


R-1：S1 L28 固定落盘路径与写入边界冲突，建议改为「写入边界允许的 01-intake/ 下」；
R-7：S1 L63-64 四段式 transition 命令在 Bash EPERM 环境常态不可达，建议改为「命令可用则用，
不可用则如实留痕并交引擎推进」；
S1 无「不得引用图上不存在的节点」条款（R-5 是真实失败换来的新规则，建议入本体）；
C-2 涉及 brd-planning 本体未读，若需把五问形态定为正源，需下一轮补信源。

F10 未落成 brd 侧判据的说明：S4 帧采样偏严风险（白衣女子按 PRD 只在片长后 40% 出现，
首/中/尾等距 3 帧可能只占尾帧 1 帧，S5 id:68）的修复动作发生在 h3-story 拆镜头与 h3-validator
判帧位，不在 brd 评分对象内。brd 侧能做的只有把「采样规则必须连同上游出现时序一起核」写成
要求（落进 TS-03-A2）；若下一轮把评分对象扩展到 sdd / validator 判据层，应补 F10 全量判据。


附录 A · 引文机械复核记录（Digester 独立核对，2026-08-30）
方法：本基准引用的全部 A 级引文，逐条在信源原件上做机械复核（Python 逐字 in / 计数）：
S1 直接读 /app/system/agents/h3-intake/agent.md；S2/S3 读两个 agent 本体；S4/S6/S7/S9/S10 读
/app/data/companies/h3video/ 下的真实 run 留痕。未命中的引文一律删掉或改写为转述并降级标注。
逐条命中计数见下方脚本输出（verify_digest.py 附于汇报，可重跑）。

复核范围：正文与判据引用的 41 条逐字引文（S1 本体 16 条 / S2 下游契约 4 条 / S3 validator 2 条 /
S4 真实 brd 1 条 / S6 判决书 5 条 / S7 复核书 3 条 / S9 contract 2 条 / S10 trace 6 条 / S11-S12 各 1 条），
41/41 全部命中原件；证据级别分布（按判据条数）：A 121 / B 2 / C 6，无 D 级；mechanical 122 条 /
human 7 条。

数字复核（R-4 对本基准自身的约束）：


台词「对不起，我不是有意闯进来的，外面有东西在追我。」去标点字数 = 20、含标点 = 23（与 S9 L36
no_punct:20 / with_punct:23 一致）——脚本 len() 复算；
90% × 20 = 18（S7 L11 的分母口径自洽）；
D1–D7 权重和 = 100；E1–E5 权重和 = 100（含 E4 计 20）——脚本断言；
每场景 A 轨判据 points 总和 = 100、B 轨 = 100 —— 脚本断言。

附录 B · 判据自洽性脚本断言（零凭空编号）
verify_digest.py 对 test_scenarios_v1.json 做 7 项断言：JSON 合法 / 每条判据 source 引用的
F#、C-#、S# 编号都真实存在于 knowhow_v1.md 与 sources_v1.json / A 轨逐场景 points 和 = 100 /
B 轨逐场景 points 和 = 100 / 维度权重和 = 100 / 每场景含 E4 veto / 判据来源对照表覆盖全部 F、C、S
编号。断言结果：12/12 通过（见汇报与脚本输出）。