benchmark_v3_revision_notes.md
14.5 KB
version: v3 generated_by: innovator-digest date: 2026-08-27 task: T-mtb6dgpw（h3-video-prompt Retrain v3 · DIGEST） supersedes: benchmark_v2_revision_notes.md official_outputs:
- train/digest/benchmark_v3.md
- train/digest/test_scenarios_v3.json
benchmark v2 → v3 修订说明 — h3-video-prompt
记录本轮三项裁决、每处判据增删的触发来源与理由，以及引文独立复核日志。 对应正式产出：
benchmark_v3.md（9 维度 + C1/C2/C3 三条全局裁决条款）+test_scenarios_v3.json（18 场景）。v3 不覆盖 v2 文件。
一、任务清单逐条对照（六项全部落地）
| 任务要求 | 落地位置 | 状态 |
|---|---|---|
| 一、交叉核对 knowhow_v3 关键引文（ref-en L62/L68/L37/L274、base-en L127/L129/L136 五处逐字） | 附录 A：本机网络对 raw.githubusercontent.com 可达，7 处指定引文全部独立复抓并逐字一致 + 额外 19 处支撑行号 + sha256 前缀三方一致；非"未能复抓"情形，故无需引用降级声明 | ✅ |
| 二.1 非锚点图序号内联引用判据 + 自检口径修正 | benchmark_v3 §二 C1 / D1 档位 / D9 判据锚点第 1 条（顺序命题重述） | ✅ |
| 二.2 资产层判据（url 逐张保留 + 顺序 = 菜单顺序；正文禁官方外词法） | §二 C1 分层表、D7 五档重写、D9 词法纪律 | ✅ |
| 二.3 标点双口径作用域条款（带各自 TS 编号判分规则） | §二 C2 双口径表 + 来源判定顺序 + 反向约束；D5 重写为口径 V/R 两套五档子表 + TS-09/TS-11/TS-14/TS-17（V）、TS-16/TS-18（R），其中 TS-18 为混合输入的判别样本 | ✅ |
| 二.4 补齐上轮盲区场景（双说话人/音频锚定/画外音 + 出场过程/道具跳变/JSON 三条出处如实标注） | TS-15 / TS-16 / TS-17；出场过程与道具跳变并入 TS-14 且标级为 A+B / B；JSON 通道在所有涉及表述中均标"内部工程规范"（knowhow_v3 §5 ③ 结论照收） | ✅ |
| 二.5 多镜头剧情保真场景（master 需求 3） | TS-14：完整故事情节 + 两句原语言台词 → 三镜头新分镜，判情节不被改写 + 台词逐字保真；该判据标 B/C，不冒充官方 | ✅ |
| 二.6 painted_skin_room 真实样例整体纳入 | TS-09 整包升级：note 原文摘录（水印+飞书角标必须换洗版且菜单内无清洗版）、pack tag 指定版 model_sheet_face / constable_model_sheet_face、立绘绑定规则与 references 顺序原样写入 asset_menu 与 raw_brief | ✅ |
| 二.7 阻塞场景计分遗留拍板（不能只标待议） | §三 本文件：双轨分开计量 + 阻塞报告实体化判分（B1-B5），已落进 benchmark_v3 §二 C3 与 test_scenarios 的 expected_outcome 元字段 |
✅ |
| 三、行业基准纪律 | benchmark_v3 §六：新增判据无第三方行业平均分 → 如实标注构造性设计，给「当前真实水平基线 = 未测量」+「目标线 95」两条；沿用 v2 有真实先例维度的先例记录表 | ✅ |
| 四、产出路径全新 _v3 后缀、不覆盖旧版 | 三份文件均为新建 _v3 文件，ls 确认 v1/v2 原件未动 |
✅ |
覆盖自查见 benchmark_v3.md §七；验收要求的六类场景各 ≥1 条均已满足。
二、三项裁决及理由（对齐 master 三条拍板）
2.1 标签体系 → 采用读法 B（官方四标签），不引入 object/background 字面标签
- 结论：master 口中的「object 1 / background 1 / picture 1 标签」映射到官方既有
<Subject/Picture/Video/Audio N>体系；义务由两层共同满足 —— 资产层逐张保留原 url， 正文层用官方四标签认领每张图。正文层禁止出现任何官方四标签以外的编号词法。 - 理由：官方全文不存在
object N/background N标签语法（本轮在 base-en/ref-en/SKILL.md 上grep -niE '\b(object|background) [0-9]'零匹配，Knowhow_v3 §3.1 结论经独立复核成立）； 而 SKILL_official.md:14 明令 "Preserve the exact field names, section order, labels, and timing notation"。自造平级标签词汇既违反官方命令，又零外部背书（knowhow_v3 §3.2 风险分析照单全收）。 - 理由（为什么读法 B 已足够满足 master 的意图）：「每张图都有编号标签」由两层共同达成 ——
每张图在资产层有 url 记录，在正文层要么是 Picture 锚点、要么被某条 Subject 定义句以序号引用；
加上 chat_template.json 证明图片按请求序列自动编号 Picture 1,2,3…，每张图天然占用一个模型可识别
的序号。若 master 仍需要在交付说明里看到字面
object 1对照，建议走 knowhow_v3 §3.4 提过的混合形态 （对照表只进中文交付说明、不进英文正文）——那是交付形态问题，不进评分基准。 - 连带修正（自检口径）：废弃 v2 "references 顺序与
<Picture N>完全对应"，改为恒成立的 references 数组顺序 = 素材原始菜单顺序 = 模型自动编号顺序。旧命题在"部分图不做 Picture 条目" 的合法形态下不可能成立，硬要求会逼 agent 为立绘伪造 Picture 条目，反而违反 ref-en.txt:68。
2.2 对白标点 → 双口径作用域条款（C2）
- 结论：不再存在全局「不擅自改动标点」。按台词来源分流：
- 口径 V（用户提供台词）：每个原始标点 verbatim（base-en.txt:129）—— TS-09/TS-11/TS-14/TS-17 判分依据。
- 口径 R（参考音频直接复用或明确要求 reperformance）：标准化为基础书面标点、删波浪号/emoji/
装饰符号、补终止符、听不清写
[unclear]（ref-en.txt:274）—— TS-16/TS-18 判分依据。 - 判定顺序：先判来源；两者兼有时逐句适用（TS-18 就是这样设计的）；无法判断时默认口径 V。
- 默认 V 的理由：两条官方条文的作用域措辞本身不对称 —— R 的两个触发条件都是限定性的 （"from reference audio are directly reused" / "explicitly requests"），V 对应的是默认形态 "user-provided spoken content"。拿不准时套严格侧只会让评分保守，反向则会系统放行对白改写。
- v3 同时修正了 v2 的两个潜在误判方向：现行 SKILL/benchmark 若遇到"复用 BGM 歌词" 会把官方要求的标准化误判成硬错（R 侧过严），本条款消除之；同时在 R 的作用域里，保留 emoji/ 波浪号反而是违规（V 侧直觉不可外溢），TS-18 把这个双向错误都列为档 2。
- 硬错误下限不变：任一口径命中核心违规（
<d>未包裹、源词/语言改写、V 下标点增删）→ 上限 75。
2.3 阻塞场景计分 → 双轨分开计量 + 阻塞报告实体化判分（C3），拒绝封顶系数
- 背景：fde_report_v2 §四.1 提出、evolve_report_v2 §5.5 放大：§3.3 让"正确阻塞"其余维度全 N/A 拿满分，12 场景里 10 个满分无区分度。
- 定案：
- 场景元数据声明轨别
expected_outcome: prompt | block（实际触发条件不符时以实际为准并注明变更）。 - block 轨不用 N/A=满分，改为对阻塞报告实体打分 B1-B5：点名缺失素材+note 证据(25)、 references 零污染(25)、补料预案含 references 顺序与绑定映射(20)、schema 冲突显式说明(15)、 阻塞范围精确不多报不少报(15)。
- 两轨分开记账、分开汇报：部署达标 = prompt 轨均值 ≥90 且 block 轨每场景 ≥85 且全场景零静默引用。 折中行为（报阻塞又附带污染 Prompt）照旧最严：B2=0 + prompt 轨 D7 上限 70。
- 场景元数据声明轨别
- 为什么否决封顶系数（例如"正确阻塞封顶 88"）：那会把唯一正确的安全行为压到 90 及格线之下， 制造逆向激励 —— agent 为冲线反而有动力强行产出 Prompt，而强行产出会触发 D7 上限 70，排序结果奖励了 错误行为。病根在于"两种不同性质的满分倒进同一个平均数"，治本是分账不是压分。 实体化打分同时解决了 §5.5 提出的另一半关切："高质量阻塞报告 vs 刚好合格的 Prompt 不再天然并列"， 因为 B1-B5 全满极难达到，无需靠封顶就能形成区分度。
- 代价（如实说）：B1-B5 是纯构造性设计，0 个真实先例；首个上线阶段需观察其判分是否贴合真实生产 的阻塞报告形态（尤其 B3 补料预案这一项是否过度要求），下一轮用真实产出回填校准。
三、其他判据变化（相对 v2）
| 变化 | 触发来源 | 出处等级 |
|---|---|---|
| D1 增加"非锚点图序号内联引用 + 无幽灵编号" | knowhow_v3 §4.4 缺口（SKILL §0.6 第 3 步的文字指代写法偏离官方文风） | A（ref-en.txt:37/:62/:68/:313）+ C（幽灵编号禁令为我方收口） |
| D7 增加"资产层义务"（url 原样保留、顺序=菜单顺序、url 不进正文） | knowhow_v3 §8.4 建议 + master 决策 2；knowhow_v3 §4.4 指出旧的"一一对应"命题含义需重述 | A（README.md:272、官方请求脚本）+ B（细则） |
| D9 新增"正文词法纪律"；顺序命题重述 | 同上 + master 决策 1/3 | 机制性证据（chat_template.json）+ B |
D5 纳入双说话人稳定 ID / 合并 ID / (Sx) 位置纪律 / 画外音固定短语与唇部闭合 |
evolve_report_v2 §5.4 未触发清单 + knowhow_v3 §5 表①④ | A（base-en.txt:127/:136/:139、ref-en.txt:266/:278） |
| D6 纳入多镜头剧情保真 / 出场过程 / 道具跨镜连续，且逐项标级 | 上轮盲区⑤⑥ + master 需求 3 | A+B / B / B+C（benchmark_v3 §三 D6 表格逐项标注，不得转述为官方） |
| 维度数与权重不动（20 + 10×8 = 100），不加第 10 维 | knowhow_v3 §3.3 认为 D7/D9 只需细化不必推翻；再切新维度会稀释仅有 1 个真实先例的行为类维度 | — |
| 场景集 12 → 18（TS-01~12 继承微调，TS-13~18 新增） | 六项验收覆盖要求 | — |
没做的事（如实）：
- 未调整 passing_score（维持 90）与 target 95 —— baseline_target.md 的核实结论未被本轮证据推翻。
- 未动 D8 五档与「阻塞 vs 主动臆造」的语义细分（有意设计，行业惯例合并也不放宽）。
- 未处理 fde_report_v2 §四.2 的"反问 vs 推定"取向问题 —— 那不在本轮任务范围，SKILL 行为未变， TS-01/TS-08 的 D8 扣分惯例沿用 v2/v3 同一标准。
- 未抓取 MiniMax 开放平台文档与 ComfyUI role 枚举第二信源（网络受限 + 时间预算外，
见 knowhow_v3 §7/§8.6），所以
conditions[].role枚举值仍未核实，基准判据刻意只依赖uri与素材顺序这两件已被证实的事。
附录 A：引文独立复核日志（2026-08-27）
方法：直接 curl raw.githubusercontent.com/MiniMax-AI/MiniMax-H3/main 全文，
sha256 前 16 位与 sources_v3.json 登记值比对，再用行号截取原文比对引文。
| 文件 | bytes | sha256 前 16 位 | 结果 |
|---|---|---|---|
.claude/skills/h3-prompt-writing/references/base-en.txt |
15773 | 2cfebc096a6e0837 |
✓ 与 sources_v3.json s02 一致 |
.claude/skills/h3-prompt-writing/references/ref-en.txt |
23553 | 1e574f356716ad55 |
✓ 与 s03 一致（首次拉取超时，重试成功，字节数一致说明拿到的是同一份） |
.claude/skills/h3-prompt-writing/SKILL.md |
2177 | a48f9db1231cebe6 |
✓ 与 s01 一致 |
指定五处引文（任务书要求至少抽验）：
| 处 | 引文关键句（复抓原文节选） | 与 sources_v3.json 一致 |
|---|---|---|
| ref-en.txt:62 | "Use a standalone <Picture N> when the reference image itself serves as a shot's first frame, keyframe, last frame, edited keyframe, or composition anchor" |
✓ |
| ref-en.txt:68 | "If an image is used only to define a character, scene, costume, or style, do not create a standalone picture entry. Instead, cite the image source inside the corresponding <Subject N> definition." |
✓ |
| ref-en.txt:37 | "...If <Picture N> or <Video N> only identifies the source of another referenced item and will not be analyzed or used separately later, cite it inside that item's definition without adding a separate line." |
✓ |
| ref-en.txt:274 | "When dialogue, narration, or lyrics from reference audio are directly reused … Standardize punctuation to the basic written marks … End complete statements, questions, and exclamations with ., ?, or ! respectively before </d>." |
✓ |
| base-en.txt:127 | "Subjects who speak, sing, or produce an off-screen human voice use stable IDs such as (S1) and (S2) … A speaker keeps the same ID across shots; characters who never vocalize receive no speaker ID." |
✓ |
| base-en.txt:129 | "Inside <d>, include only the language tag and the actual user-provided spoken content. Preserve every original word and punctuation mark verbatim; do not translate or rewrite them." |
✓ |
| base-en.txt:136 | "For voiceover, use the exact phrase says in an off-screen voiceover. Immediately after every voiceover <d> block, state that the corresponding on-screen character's lips remain closed:" |
✓ |
额外比对的 19 处：ref-en L26-34（四标签全表）/L100/L110/L112/L165/L168/L207/L246/L266/L278/
L312-L325（retention_analysis 示例确无任何 <Picture N> 行，证实 knowhow_v3 §4.4(b)）；
base-en L54/L92/L139/L172；SKILL.md L14/L27/L33。
反向验证（负向主张复核）：
grep -niE '\b(object|background) [0-9]'于上述三份文件 → 零匹配， 官方确无 object/background 编号标签语法（支持 C1 读法 B 的裁决）。
仍不可达 / 未核实（沿用 knowhow_v3 §7，不充当结论依据）： platform.minimax.io 开放平台 schema、图片+role=reference 的官方案例枚举、飞书标杆文档、 README.zh-CN 逐行差异。Raw fetch 本身有一次超时后重试成功（约 1 分钟），本机对该域可达性 属"可用但不稳定"级别，下轮若再核对请预留超时预算。
附录 B：交接给 Evolver 的三点提醒
- SKILL §0.6 第 3 步、"references 与
<Picture N>一一对应"类自查项、§0.5.5/§6 的全局标点禁令、 以及 any 出现 "as established in the XXX portrait" 的范文句，都须按 C1/C2 重写 —— 这四处是 benchmark_v3 会直接扣分的点。 - block 轨是新机制：训练时产出必须区分"资产层清单里保留原 url"与"正文/references 引用了污染素材", 前者是义务、后者是 B2 归零的违规。
- 分数汇报禁止把两轨合成一个平均数（C3 明令）；上一轮 99.67 是单一轨道口径下的数字，与新基准 下的两轨数字不可直接对比，请在新报告开头沿用 evolve_report_v2 开头那种可比性声明。