--- version: v3 generated_by: innovator-digest date: 2026-08-27 task: T-mtb6dgpw(h3-video-prompt Retrain v3 · DIGEST) supersedes: benchmark_v2_revision_notes.md official_outputs: - train/digest/benchmark_v3.md - train/digest/test_scenarios_v3.json --- # benchmark v2 → v3 修订说明 — h3-video-prompt > 记录本轮三项裁决、每处判据增删的触发来源与理由,以及引文独立复核日志。 > 对应正式产出:`benchmark_v3.md`(9 维度 + C1/C2/C3 三条全局裁决条款)+ > `test_scenarios_v3.json`(18 场景)。v3 不覆盖 v2 文件。 --- ## 一、任务清单逐条对照(六项全部落地) | 任务要求 | 落地位置 | 状态 | |---|---|---| | 一、交叉核对 knowhow_v3 关键引文(ref-en L62/L68/L37/L274、base-en L127/L129/L136 五处逐字) | 附录 A:本机网络对 raw.githubusercontent.com **可达**,7 处指定引文全部独立复抓并逐字一致 + 额外 19 处支撑行号 + sha256 前缀三方一致;非"未能复抓"情形,故无需引用降级声明 | ✅ | | 二.1 非锚点图序号内联引用判据 + 自检口径修正 | benchmark_v3 §二 C1 / D1 档位 / D9 判据锚点第 1 条(顺序命题重述) | ✅ | | 二.2 资产层判据(url 逐张保留 + 顺序 = 菜单顺序;正文禁官方外词法) | §二 C1 分层表、D7 五档重写、D9 词法纪律 | ✅ | | 二.3 标点双口径作用域条款(带各自 TS 编号判分规则) | §二 C2 双口径表 + 来源判定顺序 + 反向约束;D5 重写为口径 V/R 两套五档子表 + TS-09/TS-11/TS-14/TS-17(V)、TS-16/TS-18(R),其中 TS-18 为混合输入的判别样本 | ✅ | | 二.4 补齐上轮盲区场景(双说话人/音频锚定/画外音 + 出场过程/道具跳变/JSON 三条出处如实标注) | TS-15 / TS-16 / TS-17;出场过程与道具跳变并入 TS-14 且标级为 A+B / B;JSON 通道在所有涉及表述中均标"内部工程规范"(knowhow_v3 §5 ③ 结论照收) | ✅ | | 二.5 多镜头剧情保真场景(master 需求 3) | TS-14:完整故事情节 + 两句原语言台词 → 三镜头新分镜,判情节不被改写 + 台词逐字保真;该判据标 B/C,不冒充官方 | ✅ | | 二.6 painted_skin_room 真实样例整体纳入 | TS-09 整包升级:note 原文摘录(水印+飞书角标必须换洗版且菜单内无清洗版)、pack tag 指定版 model_sheet_face / constable_model_sheet_face、立绘绑定规则与 references 顺序原样写入 asset_menu 与 raw_brief | ✅ | | 二.7 阻塞场景计分遗留拍板(不能只标待议) | **§三 本文件**:双轨分开计量 + 阻塞报告实体化判分(B1-B5),已落进 benchmark_v3 §二 C3 与 test_scenarios 的 `expected_outcome` 元字段 | ✅ | | 三、行业基准纪律 | benchmark_v3 §六:新增判据无第三方行业平均分 → 如实标注构造性设计,给「当前真实水平基线 = 未测量」+「目标线 95」两条;沿用 v2 有真实先例维度的先例记录表 | ✅ | | 四、产出路径全新 _v3 后缀、不覆盖旧版 | 三份文件均为新建 _v3 文件,`ls` 确认 v1/v2 原件未动 | ✅ | 覆盖自查见 benchmark_v3.md §七;验收要求的六类场景各 ≥1 条均已满足。 --- ## 二、三项裁决及理由(对齐 master 三条拍板) ### 2.1 标签体系 → 采用读法 B(官方四标签),不引入 object/background 字面标签 - **结论**:master 口中的「object 1 / background 1 / picture 1 标签」映射到官方既有 `` 体系;义务由两层共同满足 —— 资产层逐张保留原 url, 正文层用官方四标签认领每张图。正文层禁止出现任何官方四标签以外的编号词法。 - **理由**:官方全文不存在 `object N`/`background N` 标签语法(本轮在 base-en/ref-en/SKILL.md 上 `grep -niE '\b(object|background) [0-9]'` 零匹配,Knowhow_v3 §3.1 结论经独立复核成立); 而 SKILL_official.md:14 明令 *"Preserve the exact field names, section order, labels, and timing notation"*。自造平级标签词汇既违反官方命令,又零外部背书(knowhow_v3 §3.2 风险分析照单全收)。 - **理由(为什么读法 B 已足够满足 master 的意图)**:「每张图都有编号标签」由两层共同达成 —— 每张图在资产层有 url 记录,在正文层要么是 Picture 锚点、要么被某条 Subject 定义句以序号引用; 加上 chat_template.json 证明图片按请求序列自动编号 Picture 1,2,3…,每张图天然占用一个模型可识别 的序号。若 master 仍需要在交付说明里看到字面 `object 1` 对照,建议走 knowhow_v3 §3.4 提过的混合形态 (对照表只进中文交付说明、不进英文正文)——那是交付形态问题,不进评分基准。 - **连带修正(自检口径)**:废弃 v2 "references 顺序与 `` 完全对应",改为恒成立的 **references 数组顺序 = 素材原始菜单顺序 = 模型自动编号顺序**。旧命题在"部分图不做 Picture 条目" 的合法形态下不可能成立,硬要求会逼 agent 为立绘伪造 Picture 条目,反而违反 ref-en.txt:68。 ### 2.2 对白标点 → 双口径作用域条款(C2) - **结论**:不再存在全局「不擅自改动标点」。按台词来源分流: - 口径 V(用户提供台词):每个原始标点 verbatim(base-en.txt:129)—— TS-09/TS-11/TS-14/TS-17 判分依据。 - 口径 R(参考音频直接复用或明确要求 reperformance):标准化为基础书面标点、删波浪号/emoji/ 装饰符号、补终止符、听不清写 `[unclear]`(ref-en.txt:274)—— TS-16/TS-18 判分依据。 - 判定顺序:先判来源;两者兼有时逐句适用(TS-18 就是这样设计的);无法判断时默认口径 V。 - **默认 V 的理由**:两条官方条文的作用域措辞本身不对称 —— R 的两个触发条件都是限定性的 ("from reference audio are directly reused" / "explicitly requests"),V 对应的是默认形态 "user-provided spoken content"。拿不准时套严格侧只会让评分保守,反向则会系统放行对白改写。 - **v3 同时修正了 v2 的两个潜在误判方向**:现行 SKILL/benchmark 若遇到"复用 BGM 歌词" 会把官方要求的标准化误判成硬错(R 侧过严),本条款消除之;同时在 R 的作用域里,保留 emoji/ 波浪号反而是违规(V 侧直觉不可外溢),TS-18 把这个双向错误都列为档 2。 - **硬错误下限不变**:任一口径命中核心违规(`` 未包裹、源词/语言改写、V 下标点增删)→ 上限 75。 ### 2.3 阻塞场景计分 → 双轨分开计量 + 阻塞报告实体化判分(C3),拒绝封顶系数 - **背景**:fde_report_v2 §四.1 提出、evolve_report_v2 §5.5 放大:§3.3 让"正确阻塞"其余维度全 N/A 拿满分,12 场景里 10 个满分无区分度。 - **定案**: 1. 场景元数据声明轨别 `expected_outcome: prompt | block`(实际触发条件不符时以实际为准并注明变更)。 2. block 轨不用 N/A=满分,改为对阻塞报告实体打分 B1-B5:点名缺失素材+note 证据(25)、 references 零污染(25)、补料预案含 references 顺序与绑定映射(20)、schema 冲突显式说明(15)、 阻塞范围精确不多报不少报(15)。 3. 两轨分开记账、分开汇报:部署达标 = prompt 轨均值 ≥90 且 block 轨每场景 ≥85 且全场景零静默引用。 折中行为(报阻塞又附带污染 Prompt)照旧最严:B2=0 + prompt 轨 D7 上限 70。 - **为什么否决封顶系数(例如"正确阻塞封顶 88")**:那会把唯一正确的安全行为压到 90 及格线之下, 制造逆向激励 —— agent 为冲线反而有动力强行产出 Prompt,而强行产出会触发 D7 上限 70,排序结果奖励了 错误行为。病根在于"两种不同性质的满分倒进同一个平均数",治本是分账不是压分。 实体化打分同时解决了 §5.5 提出的另一半关切:"高质量阻塞报告 vs 刚好合格的 Prompt 不再天然并列", 因为 B1-B5 全满极难达到,无需靠封顶就能形成区分度。 - **代价(如实说)**:B1-B5 是纯构造性设计,0 个真实先例;首个上线阶段需观察其判分是否贴合真实生产 的阻塞报告形态(尤其 B3 补料预案这一项是否过度要求),下一轮用真实产出回填校准。 --- ## 三、其他判据变化(相对 v2) | 变化 | 触发来源 | 出处等级 | |---|---|---| | D1 增加"非锚点图序号内联引用 + 无幽灵编号" | knowhow_v3 §4.4 缺口(SKILL §0.6 第 3 步的文字指代写法偏离官方文风) | A(ref-en.txt:37/:62/:68/:313)+ C(幽灵编号禁令为我方收口) | | D7 增加"资产层义务"(url 原样保留、顺序=菜单顺序、url 不进正文) | knowhow_v3 §8.4 建议 + master 决策 2;knowhow_v3 §4.4 指出旧的"一一对应"命题含义需重述 | A(README.md:272、官方请求脚本)+ B(细则) | | D9 新增"正文词法纪律";顺序命题重述 | 同上 + master 决策 1/3 | 机制性证据(chat_template.json)+ B | | D5 纳入双说话人稳定 ID / 合并 ID / `(Sx)` 位置纪律 / 画外音固定短语与唇部闭合 | evolve_report_v2 §5.4 未触发清单 + knowhow_v3 §5 表①④ | A(base-en.txt:127/:136/:139、ref-en.txt:266/:278) | | D6 纳入多镜头剧情保真 / 出场过程 / 道具跨镜连续,且逐项标级 | 上轮盲区⑤⑥ + master 需求 3 | A+B / B / B+C(benchmark_v3 §三 D6 表格逐项标注,不得转述为官方) | | 维度数与权重不动(20 + 10×8 = 100),不加第 10 维 | knowhow_v3 §3.3 认为 D7/D9 只需细化不必推翻;再切新维度会稀释仅有 1 个真实先例的行为类维度 | — | | 场景集 12 → 18(TS-01~12 继承微调,TS-13~18 新增) | 六项验收覆盖要求 | — | **没做的事(如实)**: - 未调整 passing_score(维持 90)与 target 95 —— baseline_target.md 的核实结论未被本轮证据推翻。 - 未动 D8 五档与「阻塞 vs 主动臆造」的语义细分(有意设计,行业惯例合并也不放宽)。 - 未处理 fde_report_v2 §四.2 的"反问 vs 推定"取向问题 —— 那不在本轮任务范围,SKILL 行为未变, TS-01/TS-08 的 D8 扣分惯例沿用 v2/v3 同一标准。 - 未抓取 MiniMax 开放平台文档与 ComfyUI role 枚举第二信源(网络受限 + 时间预算外, 见 knowhow_v3 §7/§8.6),所以 `conditions[].role` 枚举值仍未核实,基准判据刻意只依赖 `uri` 与素材顺序这两件已被证实的事。 --- ## 附录 A:引文独立复核日志(2026-08-27) 方法:直接 curl `raw.githubusercontent.com/MiniMax-AI/MiniMax-H3/main` 全文, sha256 前 16 位与 sources_v3.json 登记值比对,再用行号截取原文比对引文。 | 文件 | bytes | sha256 前 16 位 | 结果 | |---|---|---|---| | `.claude/skills/h3-prompt-writing/references/base-en.txt` | 15773 | `2cfebc096a6e0837` | ✓ 与 sources_v3.json s02 一致 | | `.claude/skills/h3-prompt-writing/references/ref-en.txt` | 23553 | `1e574f356716ad55` | ✓ 与 s03 一致(首次拉取超时,重试成功,字节数一致说明拿到的是同一份) | | `.claude/skills/h3-prompt-writing/SKILL.md` | 2177 | `a48f9db1231cebe6` | ✓ 与 s01 一致 | 指定五处引文(任务书要求至少抽验): | 处 | 引文关键句(复抓原文节选) | 与 sources_v3.json 一致 | |---|---|---| | ref-en.txt:62 | *"Use a standalone `` when the reference image itself serves as a shot's first frame, keyframe, last frame, edited keyframe, or composition anchor"* | ✓ | | ref-en.txt:68 | *"If an image is used only to define a character, scene, costume, or style, do not create a standalone picture entry. Instead, cite the image source inside the corresponding `` definition."* | ✓ | | ref-en.txt:37 | *"...If `` or ``."* | ✓ | | base-en.txt:127 | *"Subjects who speak, sing, or produce an off-screen human voice use stable IDs such as `(S1)` and `(S2)` … A speaker keeps the same ID across shots; characters who never vocalize receive no speaker ID."* | ✓ | | base-en.txt:129 | *"Inside ``, include only the language tag and the actual user-provided spoken content. Preserve every original word and punctuation mark verbatim; do not translate or rewrite them."* | ✓ | | base-en.txt:136 | *"For voiceover, use the exact phrase `says in an off-screen voiceover`. Immediately after every voiceover `` block, state that the corresponding on-screen character's lips remain closed:"* | ✓ | 额外比对的 19 处:ref-en L26-34(四标签全表)/L100/L110/L112/L165/L168/L207/L246/L266/L278/ L312-L325(retention_analysis 示例确无任何 `` 行,证实 knowhow_v3 §4.4(b)); base-en L54/L92/L139/L172;SKILL.md L14/L27/L33。 反向验证(负向主张复核): - `grep -niE '\b(object|background) [0-9]'` 于上述三份文件 → **零匹配**, 官方确无 object/background 编号标签语法(支持 C1 读法 B 的裁决)。 仍不可达 / 未核实(沿用 knowhow_v3 §7,不充当结论依据): platform.minimax.io 开放平台 schema、图片+role=reference 的官方案例枚举、飞书标杆文档、 README.zh-CN 逐行差异。Raw fetch 本身有一次超时后重试成功(约 1 分钟),本机对该域可达性 属"可用但不稳定"级别,下轮若再核对请预留超时预算。 ## 附录 B:交接给 Evolver 的三点提醒 1. SKILL §0.6 第 3 步、"references 与 `` 一一对应"类自查项、§0.5.5/§6 的全局标点禁令、 以及 any 出现 "as established in the XXX portrait" 的范文句,都须按 C1/C2 重写 —— 这四处是 benchmark_v3 会直接扣分的点。 2. block 轨是新机制:训练时产出必须区分"资产层清单里保留原 url"与"正文/references 引用了污染素材", 前者是义务、后者是 B2 归零的违规。 3. 分数汇报禁止把两轨合成一个平均数(C3 明令);上一轮 99.67 是单一轨道口径下的数字,与新基准 下的两轨数字不可直接对比,请在新报告开头沿用 evolve_report_v2 开头那种可比性声明。