version: v3 generated_by: innovator-digest date: 2026-08-27 based_on: hunt/knowhow_v3.md(T-mtb58zsc)+ master 本轮三条拍板决策(任务 T-mtb6dgpw) supersedes: benchmark_v2.md
quote_verification: 官方引文已由 Digester 于 2026-08-27 独立复抓核对(见 §〇.2 与 benchmark_v3_revision_notes.md 附录 A)
H3 视频提示词质量评分基准 v3 — h3-video-prompt
生成者:innovator-digest(Phase 2 Digest,v3 修订)|日期:2026-08-27 评分对象:该 agent 针对一条用户视频创意产出的最终交付物。v3 起按产出形态分两条轨计分 (C1–C3 见 §二;轨别由场景元字段
expected_outcome声明):prompt轨评完整提示词,block轨评阻塞报告。 前身:benchmark_v2.md(2026-08-26,9 维度)。v3 不推翻 v2 的维度骨架与权重,只做三类事: 把 knowhow_v3 揭示的真实缺口转成判据、把三条遗留事项正式裁决落条款、补齐上轮从未被触发的盲区场景。
〇、v2 → v3 修订背景
0.1 触发源(三股输入)
- knowhow_v3(Hunter v3 轮,全部官方原文逐字到手)新揭示的事实:
- 参考素材进模型的官方通道是请求体顶层
conditions[](地址在每条uri),官方全文没有叫references的数组 —— 那是我们自己的调用方约定。由此必须区分资产层与正文层 (knowhow_v3 §2.1/§4.3)。 - 官方四个参考标签只有
<Subject N>/<Picture N>/<Video N>/<Audio N>(ref-en.txt L26-L34),不存在object N/background N字面标签(本轮独立复核: 三份官方文件 grep\b(object|background) [0-9]零匹配)。 - "立绘只用来定义人物、不另起 Picture 条目"有官方逐字背书且属通用默认(ref-en.txt L62/L68), 不是 conv-mtabpqx9 输入特有。
- SKILL v0.3.0 §0.6 第 3 步让正文里写 "as established in the NPC portrait" 这种文字指代, 偏离官方文风:官方用资产序号内联引用(ref-en.txt L37 + L313 官方范例)→ 可修缺口。
- 对白标点存在两条作用域不同、表面互斥的官方条文(base-en.txt L129 vs ref-en.txt L274) → 必须裁决成作用域条款。
- 参考素材进模型的官方通道是请求体顶层
- fde_report_v2 §四 / evolve_report_v2 §5.5:阻塞场景的"正确阻塞 = 与完美达成并列 100" 导致 12 场景里 10 个满分、分数分布无区分度 → 必须正式定案计分方式。
- master 本轮三条拍板决策(原样落入本文 C 条款):标签体系用官方四标签、参考图 OSS url 逐张保留进资产层、立绘按理解 B 处理。
0.2 引文独立性说明(诚实记录)
本基准所有标注「官方」字样的判据,其引文已由 Digester 于 2026-08-27 独立复抓
raw.githubusercontent.com 并逐字比对:base-en.txt(15773 B,sha256 前 16 位
2cfebc096a6e0837)、ref-en.txt(23553 B,sha256 前 16 位 1e574f356716ad55)、SKILL.md
(2177 B,sha256 前 16 位 a48f9db1231cebe6),三份字节数与哈希前缀均与 sources_v3.json 记录一致。
指定核对的 7 处行号(ref-en L37/L62/L68/L274、base-en L127/L129/L136)逐字一致,
另额外比对了 19 处支撑行号。仍不可达的部分沿用 knowhow_v3 §7 的如实结论:
MiniMax 开放平台文档未核实、「图片 + role=reference」官方案例缺失。
0.3 出处分级体系(v3 新增,贯穿全文)
为杜绝「内部规范冒充官方原文」(上轮明确要防的问题),v3 给每条判据标出处等级:
| 等级 | 含义 | 引用形态 |
|---|---|---|
| A | 官方逐字条款 | 官方文件:行号 + 英文原文 |
| B | 内部规范(我方工程约定 / 评审专家推演,方向与官方不矛盾) | 标注「内部规范」并给出提出来源 |
| C | 构造性设计(无任何真实先例或官方文本,从规则合理推演出来的收口/边界处理) | 标注「构造性设计」 |
一、维度设计(沿用 v2:9 维度,权重 20 + 10×8 = 100)
| 维度 | 名称 | 权重 | v3 变化 |
|---|---|---|---|
| D1 | 官方输入模式覆盖度(核心锚点) | 20 | 增补判据:非锚点图的序号内联引用 + 幽灵编号禁令(§二 C1) |
| D2 | 结构化字段完整性 | 10 | 沿用 v2 |
| D3 | 声音设计完整性(含 N/A 精确条件) | 10 | 沿用 v2 |
| D4 | 具体性 vs 空洞质量词 | 10 | 沿用 v2 |
| D5 | 对白逐字保真与 <d> 格式(硬性规范) |
10 | 改判:纳入 C2 标点双口径作用域 + 双说话人稳定 ID + 画外音固定短语(均官方原文) |
| D6 | 运镜与镜头语言一致性 | 10 | 增补多镜头剧情保真 / 出场过程 / 道具连续性(B/C 级出处,明确标注) |
| D7 | 素材可用性预检与阻塞报告 | 10 | 增补资产层判据:url 逐张保留 + 顺序 = 菜单顺序(§二 C1) |
| D8 | 意图忠实与扩写边界(含输入冲突解决) | 10 | 沿用 v2 |
| D9 | 输出前机械校验 | 10 | 修正口径 + 词法纪律:references 顺序命题重述、正文层禁非官方标签(§二 C1) |
为什么不在本轮新增第 10 维:knowhow_v3 §8.4 建议"benchmark 增加『资产层 url 保真』判据", 但该建议同时指出这属于现有 D7/D9 维度的细化而非推翻(knowhow_v3 §3.3:D7/D9 无需改动方向, 只需在判据里写清两个点…不推翻现有基准)。v2 行为类五维各只有 1 个真实先例(conv-mtabpqx9), 再切出一个无真实产出的新维度只会稀释权重可解释性。资产层义务归 D7(它本质是素材处理行为), 正文词法纪律归 D9(它本质是机械校验项),Ref2VA 结构语义归 D1 —— 判据增加,维度数不动。
二、三条全局裁决条款(正式生效,取代一切旧表述)
这三条是对 v2 revision_notes 第 8 节遗留事项 + master 拍板的结论,不是待议项。
C1 标签映射与两层分离(读法 B 正式定案)
裁决:master 口中的「给每个参考图打 object 1 / background 1 / picture 1 标签」映射到官方既有 标签体系,不引入任何官方四标签以外的编号词法。义务由两层共同满足:
| 层 | 内容 | 规则 | 出处 |
|---|---|---|---|
资产层(请求体 conditions[],或调用方约定的 references 数组) |
每条参考素材一条记录,原 url 原样保留、不下载不改链,顺序 = 输入菜单的原始顺序 | url 不进提示词正文;官方正是这样做的(cdn.hailuoai.com 地址直接放 conditions[].uri) |
A:README.md:272 + 官方脚本 reproducible-768p-ref2va-request.sh:11-32;机制性证据 chat_template.json(图片按请求序列自动编号 Picture 1,2,3…) |
| 正文层(prompt 文本六段) | 只出现 <Subject N> / <Picture N> / <Video N> / <Audio N> 四类编号标签及 (Sx) 说话人 ID |
禁止出现 object/background/picture 小写等任何官方外编号词法;禁止幽灵编号 | A:ref-en.txt:26-34 四标签表 + SKILL_official.md:14 "Preserve the exact field names, section order, labels, and timing notation from the selected guide." |
三种常见素材在正文层的落位(理解 B):
| 生产菜单里的图 | 正文层落位 | 出处 |
|---|---|---|
| scene 场景图(用作构图/首帧锚点) | 独立 <Picture N> 定义条目(可同时作为环境型 Subject 的来源) |
A:ref-en.txt:62 "Use a standalone <Picture N> when the reference image itself serves as a shot's first frame, keyframe, last frame, edited keyframe, or composition anchor" |
| 人物/道具立绘(仅定义外观) | 不另起 Picture 条目;在某条 <Subject N> 定义句内以 <Picture M> 序号内联引用 |
A:ref-en.txt:68 "If an image is used only to define a character, scene, costume, or style, do not create a standalone picture entry. Instead, cite the image source inside the corresponding <Subject N> definition.";L313 官方范例 " is the fluffy white Samoyed in , , and " |
| 只取氛围不入帧的风格图 | 作 weak_reference 来源处理,同样不独立成条 |
A:ref-en.txt:168 |
判分细则(对应 D1/D9 修订档位):
- 内联引用必须是序号引用,不是文字指代。反例(SKILL v0.3.0 §0.6 第 3 步现行写法,判定为
官方文风偏差):"as established in the NPC portrait"。正例:"as established in ."
依据 ref-en.txt:37 "If
<Picture N>or<Video N>only identifies the source of another referenced item and will not be analyzed or used separately later, cite it inside that item's definition without adding a separate line." —— 该条要求"cite it inside",其正文其余部分的惯例 是带标签序号的引用(ref-en.txt:312/313 官方范例,等级 A + 构造性延伸 C:将 "cite" 具体化为 "带序号引用"是我方的收口解释,官方没有逐字说 "must use the label token")。 - 幽灵编号(内部规范 B / 收口规则):凡以素材身份进入资产层的图片,要么拥有独立
<Picture N>定义条目、要么被某条<Subject N>定义句以序号引用,不允许成为正文里完全无人认领的 编号。这条是我方推演出的收口规则,官方没有逐字写,不得转述为官方条款。 - 自检口径修正(取代 v2 D9 的错误命题):正确的恒成立命题是
references 数组顺序 = 素材原始菜单顺序 = 模型自动编号顺序;
references 顺序与正文不再作为要求 —— 因为部分图不做 Picture 定义条目时两者本来就对不上,硬要求会逼迫 agent 为立绘伪造 Picture 条目(反而违反 ref-en.txt:68)。 (等级:模型自动编号顺序来自 chat_template.json 机制性证据;命题重述为内部规范 B。)<Picture N>定义条目一一对应 - 生产输入自带绑定规则时按输入走:若输入明确声明了某张立绘"不另起 Picture 条目"或反之,按输入 执行,不以 C1 的默认覆盖输入显式约定(master 决策 3 的保留分句;等级 B 内部规范)。
- url 保留 ≠ 污染素材可用:保留不可用素材的原 url 只是数据完整性义务,不代表允许引用; 可用性判定与阻塞逻辑完全归 D7,两者不得混为一谈(knowhow_v3 §4.3 第三点,等级 B)。
C2 对白标点双口径作用域条款(正式定案)
裁决:不再存在全局的「不擅自添加/删除/改动标点」。判分前先判台词来源,按来源选用两种合法口径之一: 两者均为官方条文,谁也不覆盖谁。
| 口径 | 适用范围(作用域条件) | 规则 | 出处(A 级) |
|---|---|---|---|
| 口径 V(verbatim) | 台词由用户在本次输入中直接提供(含用户手打的对白、字幕文本;不含仅出现在参考音频里的内容) | <d> 内只放语言标签和台词本身;每个原词、每个原始标点逐字保留,不翻译、不改写、不补词、不擅自加句号/感叹号/省略号,也不得删改已有标点 |
base-en.txt:129 "Inside <d>, include only the language tag and the actual user-provided spoken content. Preserve every original word and punctuation mark verbatim; do not translate or rewrite them." |
| 口径 R(source-reuse standardize) | 台词从参考音频直接复用,或输入明确要求 reperformance(含复用 BGM 歌词、重演原声旁白) | 保留源词与原语言;听不清处写 [unclear] 不得猜写;标点标准化为表达句子所需的基础书面标点(, . ? !);删除重复波浪号、emoji、项目符号与重复装饰标点;陈述/疑问/感叹句在 </d> 前分别补 .?! 终止符 |
ref-en.txt:274 "When dialogue, narration, or lyrics from reference audio are directly reused, or when the input prompt explicitly requests their reperformance, preserve the exact source words and original language inside <d>. … Standardize punctuation to the basic written marks needed to express the sentence … End complete statements, questions, and exclamations with ., ?, or ! respectively before </d>." |
来源判定顺序(分级规则,等级 B 内部规范):
- 输入对这句台词的来源有显式声明 → 按声明选口径。
- 无显式声明、但台词同时出现在参考音频资产中且用户要求复用/重演 → 口径 R。
- 其余一切情形(含来源无法判断)→ 默认口径 V。理由:R 的两个触发条件都是限定性的 ("from reference audio are directly reused" / "explicitly requests"),V 对应的是 "user-provided spoken content" 这一默认形态;拿不准时套更严格的保真侧不会产生假阳性扣分, 反之则会系统性地误放对白改写。
- 同一产出台词混着两类来源 → 逐句适用各自口径(TS-18 即这种混合输入)。
反向约束(防止两个方向的误判):
- 口径 R 下不得以"逐字保真"为由保留 emoji/波浪号/重复装饰标点,也不得漏掉终止符 —— 在 R 的 作用域里那才是违规。
- 口径 V 下不得以"规范化书写"为由给无终止符的台词补句号(conv-mtabpqx9 反例
[Chinese] 你出去看看。就是这类),也不得删掉已有感叹号(TS-11)。 - 两口径共用的不变量:源词与原语言永不改写、
<d>内只放语言标签与台词、听不清写[unclear]而不是猜(R 明文规定;V 侧按同类逻辑以内部规范 B 延伸适用)。
判分落点:D5 档位表重写为两套子表(见 §三 D5)。
C3 阻塞场景计分方式(正式定案:双轨分开计量 + 阻塞报告实体化判分)
问题(承接 fde_report_v2 §四.1 / evolve_report_v2 §5.5):v2 §3.3 让"正确阻塞"的其余维度全部 按 N/A 记满分 → 该场景得 100,与"完美达成"的 Prompt 产出并列,12 场景里 10 个满分,分布无区分度。
定案方案:双轨分开计量 + 阻塞报告实体化判分(否决封顶系数方案,理由见下)。
(a) 场景声明轨别:test_scenarios_v3 每条场景新增元字段 "expected_outcome": "prompt" | "block",
由场景设计者依据输入是否存在「必需素材不可用且无替代」预先声明;评测时若实际触发条件与声明不符,
以实际条件为准并在评分记录里注明轨别变更原因。
(b) block 轨不再使用"N/A=满分",改为对阻塞报告本身实体打分(满分 100):
| 检查项 | 分值 | 判据 |
|---|---|---|
| B1 缺失素材点名 + note 证据 | 25 | 报告必须点名哪条素材缺失/不可用,并复述触发它的 note 关键证据(如"AI生成水印+飞书角标,出片前必须换洗版");只说"素材有问题"不给证据 → 该项 ≤10 |
| B2 零污染引用 | 25 | 报告与附带产物中的 references/conditions 不得包含任何不可用素材;否则该项 0 且沿袭 v2 的 D7 硬错误下限(总分上限 70),与其他折中行为同判 |
| B3 补料预案 | 20 | 说明拿到清洗版/替代版后如何继续:预期的 references 顺序、每条资产的主体绑定映射(哪张图绑哪个 Subject/是否 Picture 锚点)、预计模式不变性;只报"缺料等通知"而无预案 → ≤10 |
| B4 schema 冲突显式说明 | 15 | 若输出 schema 没有错误通道,须明说"schema 与素材要求不可同时满足";若格式允许则按调用方要求的错误格式输出 |
| B5 阻塞范围精确 | 15 | 只对必需且不可替代的素材报阻塞:不多报(把有替代或非必需素材也一并报死,≤8)、不少报(漏掉另一条同样必须替换的 note,≤8) |
block 轨得分 = Σ(各项实得分),不做加权折算(五项即总分构成)。折中行为(报阻塞的同时又附一个 引用了不可用素材的 Prompt)照旧按最严重一侧判:block 轨 B2 = 0 + prompt 轨照常评分并触发 D7 上限 70。
(c) 记账与达标条件分开:
prompt 轨成绩 = 该轨全部场景按 v2 加权口径 (Σ 维度得分/5 × 权重) 所得分数的均值
block 轨成绩 = 该轨全部场景 B1-B5 得分的均值
部署达标条件:prompt 轨均值 ≥ 90 且 block 轨每一个场景 ≥ 85 且 全部场景零静默引用
汇报口径:两轨数字分别呈现,禁止合并成一个平均分
(d) 为什么不用封顶系数(例如"正确阻塞封顶 88"):那会把唯一正确的安全行为压到 90 及格线之下, 制造逆向激励 —— agent 有动力为了冲部署线而强行产出 Prompt(随即触发 D7 上限 70),排序结果反而 奖励了错误行为。v2 的病根不是"阻塞不该得高分",而是把两种性质不同的满分倒进了同一个平均数, 治本是分账,不是压分。同时 block 轨实体化后(B1-B5 很少有人全满),"高质量阻塞报告"与 "刚好合格的 Prompt"也不再天然并列 —— 原来 §5.5 提出的两个关切都被同一组机制解决。
(e) 与 §三 各维度的衔接:D7 仍在 prompt 轨内用于判"触发阻塞条件后的错误产出"(静默引用、 降级剔除),block 轨的出现不影响 D7 自身的 5 档标准与 70 分上限;N/A=满分的惯例今后只在 prompt 轨 内适用(如无声场景的 D5),不再适用于"整个产出是阻塞报告"的情形。
三、逐维度评分标准(每维 1-5 分,加权 = 维度得分/5 × 权重)
标注
[v2继承]的档位文字与 benchmark_v2.md 完全一致;只列发生变化的档位全文。
D1 官方输入模式覆盖度(权重 20,核心锚点)
| 分数 | 判据 |
|---|---|
| 5 | 模式识别正确(单一或组合);Ref2VA 场景下 subject_definitions/summary/retention_analysis 三字段齐全具体;[v3] 所有非锚点参考图都在某条 <Subject N> 定义句中以 <Picture M> 序号内联引用其来源(C1),全部素材序号均被认领,无幽灵编号 |
| 4 | 模式与三字段正确,但 1 处轻微偏差:某个立绘/道具来源用了文字指代("as established in the NPC portrait")而非序号引用,或一个 Source 序号未在正文任何条目中被引用但不影响理解 |
| 3 | 方向大致对但结构对不上官方:未用官方字段名;或多张立绘被写成独立 <Picture N> 定义条目(违反 ref-en.txt:68);或同一素材既被序号引用又被另行独立定义造成重复认领 |
| 2 | 模式误判(含 FL2VA ↔ Ref2VA 字段结构混用);[v3] 或出现官方四标签以外的编号词法(object/background)承担主体识别职责 |
| 1 | 完全没有模式意识;Ref2VA 三字段全缺;或参考素材只被当背景描述带过 |
出处:A 级 ref-en.txt:26-34/:37/:62/:68/:313 + SKILL_official.md:14;等级 C 收口项已在 §二 C1 标注。
D2 结构化字段完整性(权重 10)—— [v2继承],五档不变,无修改。
D3 声音设计完整性(权重 10)—— [v2继承],五档与 N/A 精确条件不变,无修改。
D4 具体性 vs 空洞质量词(权重 10)—— [v2继承],五档不变,无修改。
D5 对白逐字保真与 <d> 格式(权重 10,硬性规范)—— v3 重写(C2 双口径)
前置步骤:逐句判定台词来源 → 选口径 V 或 R(§二 C2 判定顺序)。
口径 V 五档(用户提供台词,包括 TS-09/TS-11 类场景):
| 分数 | 判据 |
|---|---|
| 5 | 全部对白在 <d> 内、只含语言标签+原始台词;原词、语序、每个原始标点逐字保留;(Sx) 编号稳定并与发声者一一对应;说话方式/音色/动作都在 <d> 外 |
| 4 | 格式与保真完全正确,仅 1 处轻微瑕疵(如 (Sx) 首次出现未注明音色特征但不影响辨识) |
| 3 | 1 处格式/保真问题但不改变台词语义(漏闭合标签、明显笔误式空格差异) |
| 2 | 擅自改动台词:补句号/感叹号/省略号、删除或替换原有标点、改用词、翻译、补词 |
| 1 | 对白未用 <d> 包裹,或台词被大幅改写/翻译/语义改变 |
口径 R 五档(参考音频复用 / 要求 reperformance):
| 分数 | 判据 |
|---|---|
| 5 | 源词与原语言逐字保留;听不清处写 [unclear];标点标准化为基础书面标点,emoji/波浪号/重复装饰符号已清除,完整句在 </d> 前有 ./?/! 终止符;(Sx) 用法符合全局顺序 |
| 4 | 标准化完成,仅 1 处轻微残留(如一处无害的重复逗号已被合并但保留了一个书名号) |
| 3 | 保留了部分装饰标点(波浪号/emoji 二选一未被清掉),或 1 处终止符缺失;词与语言未被改动 |
| 2 | 以"保真"为由整体照抄装饰标点不做标准化;或有终止符的大量整句缺失;或把听不清处猜写成具体词 |
| 1 | 改写/翻译源词与原语言;或整个声道内容被臆造而非复用 |
混合输入场景(两类来源并存,TS-18):逐句取对应口径档位后取算术平均再折算成本维得分。
双说话人 / 编号稳定性判据(两口径通用,v3 新增,A 级出处):
(Sx)按目标视频中实际发声事件顺序分配一次,跨镜头保持同一 ID;多个已编号说话人齐声/合唱时用 合并 ID 如(S1,S2);从不发声的角色不获得说话人 ID。(base-en.txt:127;ref-en.txt:278)(Sx)写入detailed_description,不写入retention_analysis。(ref-en.txt:278)- 画外音用固定短语
says in an off-screen voiceover,且每个画外音<d>块之后紧跟声明相应在场角色 嘴唇保持闭合;同一主体再次以画外音形式发声时保留同一形式并标记off-screen。 (base-en.txt:136/:139;ref-en.txt:266)
硬错误下限(沿用 v2):命中任一口径的 1-2 档核心违规(<d> 未包裹、源词/语言被改写、V 口径下
标点被擅自增删)→ 总分上限 75。
D6 运镜与镜头语言一致性(权重 10)
[v2继承] 五档(单镜头主导运镜唯一、"唯一光源"真的唯一、跨字段一致、Shot 编号与时间戳连续)之外,
v3 增补以下三项检查进入判据锚点,出处严格标注:
| 增补检查项 | 判分影响 | 出处等级 |
|---|---|---|
| 多镜头剧情保真:给定完整故事情节时,分镜不得改写情节走向(不得新增角色动机/结局/关系变化),台词保持原语言逐字 | 计入 2 分档(情节被实质改写时) | B/C:官方只有"细节须与用户意图一致"的最接近条款(base-en.txt:172 T2VA Case 1)与反向条款(ref-en.txt:207 别把新增情节当保真损失),「情节不被改写」是我们从这两条收口出的内部标准,不是官方逐字条款 |
| 人物出场过程:重要主体首次清晰出现时描述位置与当前动作(ref-en.txt:246 已含此义);「必须有进入方式/不得凭空现身」是 v2 D6 内部标准的延续 | 计入 2 分档 | B:前半句 A 级(ref-en.txt:246),后半句内部规范(benchmark_v2 D6 原有,继续如实标注) |
| 道具/关键物跨镜头连续:道具位置与状态不得无交代跳变 | 计入 2 分档 | B:官方仅有一个相邻一致性语句(base-en.txt:54 I2VA 语境)与 Ref2VA 保框架(ref-en.txt:165-170),跨镜头连续性检查仍是内部增强 |
D7 素材可用性预检、资产层保真与阻塞报告(权重 10,生产级硬行为)—— v3 增补资产层义务
[v2继承] 预检 note、职责声明、阻塞双向判据全部保留;v3 新增 资产层义务(C1)计入本维度:
| 分数 | 判据 |
|---|---|
| 5 | 逐项预检全部素材 note;[v3] 每条参考素材原 url 原样保留进资产层(conditions[].uri / references 数组),数组顺序 = 输入菜单原始顺序,url 从不出现在正文层;全部素材职责声明清楚;必需素材不可用且无替代时按 C3 流程产出合格阻塞报告 |
| 4 | 预检完成、url 齐全,但有 1 处轻微问题:顺序有一处与菜单不一致但绑定关系仍然可推断;或 1 处职责声明略含糊;或轻微 note 处理不彻底但未引用污染素材 |
| 3 | 识别到 1 处素材不可用但降级处理(剔除而不报阻塞);[v3] 或 url 改链/下载替换后再传(破坏可追溯性);或缺 1 条资产的 url |
| 2 | 识别到不可用素材但仍静默引用;[v3] 或把参考素材 url 直接写进正文提示词文本 |
| 1 | 完全未预检,全部素材堆进资产层;或无视「必须替换」型 note 引用污染素材 |
硬错误下限(沿用 v2):必需素材不可用且无替代时静默引用 → 总分上限 70。 注意(C1 衍生的易错点):给带水印素材保留原 url 进资产层 ≠ 可以引用它 —— 数据完整性与 可用性判定是两回事;评测时 B2/D7 双向都会盯这一点。
D8 意图忠实与扩写边界(含输入冲突解决)(权重 10)—— [v2继承]
子块 A 冲突解决 / 子块 B 扩写边界五档全部沿用 v2(含「被阻塞」与「主动跳过/臆造」的有意语义细分, 即使行业惯例常合并处理,v3 继续保留该区分度)。
D9 输出前机械校验(权重 10)—— v3 修正口径 + 新增词法纪律
判据锚点在 v2 基础上做两处修改:
- 顺序命题重述(取代 v2 的"references 顺序与
<Picture N>完全对应"):机械校验改为验证 references 数组顺序 = 素材原始菜单顺序 = 模型自动编号顺序;正文层校验的是「每个出现的<Picture M>/<Video M>/<Audio M>都能在资产层找到对应位置的素材、且每个素材至少被认领一次」,而不是 「与 Picture 定义条目一一对应」。(等级:机制性证据 chat_template.json + 内部规范 B,见 §二 C1) - 正文层词法纪律(v3 新增,C1):正文只允许
<Subject/Picture/Video/Audio N>与(Sx)两族记号;出现object 1、background 2、picture 3等官方外编号词法即为机械校验失败。
| 分数 | 判据 |
|---|---|
| 5 | 机械项全过:段落齐全顺序正确、字段名精确、标签编号一致且全部被认领、references 顺序 = 菜单顺序 = 自动编号顺序、立绘仅作 Subject 来源绑定、正文无官方外词法、JSON 可解析、无占位符、无 schema 外字段 |
| 4 | 1 处非核心机械问题(字段名大小写不规范但可解析、1 个序号在正文中被引用两次等) |
| 3 | 2 处机械问题,或 1 处中等结构问题(缺一段、references 顺序错位一处以上、出现一个未被认领的幽灵编号) |
| 2 | ≥3 处机械问题,或字段名错误、JSON 不可解析、留有模板占位符、[v3] 出现官方四标签以外的编号词法 |
| 1 | 结构混乱,无法识别为合规输出 |
四、总分计算方法
4.1 prompt 轨
加权和 = Σ(维度得分/5 × 维度权重) (满分 100,v2 公式不变)
N/A 处理:仅当"该维度对应的违规行为在该产出中根本不可能发生"(如无声场景的 D5)时记满分,
且仅适用于 prompt 轨 —— C3 生效后,阻塞报告不得借 N/A 拿满分。
4.2 封顶(v2 三道上限全部保留)
D1 封顶:D1 ≤ 1 → 上限 40 ; D1 = 2 → 上限 60 ; D1 ≥ 3 → 不封顶
D5 硬错误下限:命中口径 V/R 任一的 1-2 档核心违规 → 上限 75
D7 硬错误下限:必需素材不可用且无替代时静默引用 → 上限 70
最终得分 = min(加权和, 所有已触发的上限)
4.3 block 轨
得分 = B1-B5 实得分之和(满分 100,§二 C3 表格),不套用九维度、不适用 N/A、封顶规则不适用 (静态引用污染已在 B2 归零并单独触发 prompt 轨的 70 上限)。
4.4 判定等级与达标线(passing_score = 90 沿用)
| 分数区间 | 等级 | 处置 |
|---|---|---|
| ≥95 | 优秀(目标线) | 达到训练收敛目标,可部署 |
| 90-94 | 合格(硬性部署线) | 达到部署门槛 |
| 75-89 | 待改进 | 需补齐薄弱项重评 |
| 不合格 | 结构性缺失或硬错误触发封顶 |
部署达标条件(C3):prompt 轨均值 ≥ 90 且 block 轨每场景 ≥ 85 且 全场景零静默引用。 两轨分数分开汇报,不合并。
五、判据出处对照总表(新增判据逐一登记)
| # | 判据 | 等级 | 出处 |
|---|---|---|---|
| 1 | 参考素材通道为 conditions[]、url 在 uri,官方无 references 数组 |
A(+机制) | README.md:272/:285、reproducible-768p-ref2va-request.sh:11-32、chat_template.json |
| 2 | 资产层义务:逐张保留原 url、顺序 = 菜单顺序、url 不进正文 | A + B(细则为内部规范) | README.md:272;细则为本基准制定 |
| 3 | 官方四标签 only,禁止官方外编号词法 | A | ref-en.txt:26-34、SKILL_official.md:14 |
| 4 | 场景图 = 独立 Picture 锚点 | A | ref-en.txt:62 |
| 5 | 立绘/风格图不作独立 Picture 条目,在 Subject 定义句内引用 | A | ref-en.txt:68、L313 范例 |
| 6 | 内联引用须用序号标签,不接受文字指代 | A + C | ref-en.txt:37("cite it inside")+ L313 文风范例;"必须用序号 token"是我方收口解释 |
| 7 | 幽灵编号禁令 | C | 内部收口规则,官方无逐字条款 |
| 8 | references 顺序 = 菜单顺序 = 自动编号顺序(取代一一对应命题) | 机制 + B | chat_template.json(图片按请求序列自动编号)+ 内部重述 |
| 9 | 输入自带绑定规则时按输入走 | B | master 决策 3 保留分句 |
| 10 | 标点口径 V(verbatim) | A | base-en.txt:129 |
| 11 | 标点口径 R(standardize + 终止符 + [unclear]) |
A | ref-en.txt:274 |
| 12 | 口径判定顺序(先判来源,默认 V)与逐句适用 | B | 本基准裁决条款,基于两条官方条文的作用域措辞 |
| 13 | 双说话人稳定 ID / 合并 ID / 无声者无 ID / (Sx) 不进 retention |
A | base-en.txt:127、ref-en.txt:278 |
| 14 | 音频 Audio N 绑 speaker:<Subject N> (Sx),ID 取目标视频全局顺序、不重新编号;Video/Audio 独立编号;普通视频含声不自动生成 Audio N |
A | ref-en.txt:100/:110/:112/:92-118 |
| 15 | 画外音固定短语 + 唇部闭合声明 + off-screen 保留形式 | A | base-en.txt:136/:139、ref-en.txt:266 |
| 16 | 多镜头剧情保真(情节不被改写) | B/C | 相邻条款 base-en.txt:172、ref-en.txt:207;具体判据为内部收口 |
| 17 | 人物出场过程(位置+动作 A 级;"必须有进入方式"内部) | A + B | ref-en.txt:246 + benchmark_v2 D6 内部标准 |
| 18 | 道具跨镜头连续 | B | 相邻条款 base-en.txt:54、ref-en.txt:165-170;连续性检查为内部增强 |
| 19 | JSON 序列化通道可解析性 | B(内部工程规范) | 官方文本只描述正文怎么写,无 JSON 通道条款(knowhow_v3 §5 ③),评测时不得称官方依据 |
| 20 | 阻塞报告 B1-B5 五项、双轨记账、达标条件 | C(构造性设计) | 本基准裁决,针对 fde_report_v2 §四.1 提出、无可参照先例 |
| 21 | 素材上限合计 ≤ 12 文件(9 图 + 3 视频 + 3 音频之下的总闸) | A | README.md:85 |
六、行业基准纪律(诚实标注,不编造行业数字)
延续 baseline_target.md §一 的判断:h3-video-prompt 是针对单一官方模型的写作方法论技能, 不存在可抓取的第三方行业平均分(官方仓库是规范文档不是打分语料库;飞书标杆文档自首轮起三次尝试 均在登录墙失败;MiniMax 开放平台文档本轮仍不可达)。因此 v3 按公司训练纪律执行:
v3 新增判据(#2/#6/#7/#8/#12/#16/#18/#19/#20 等)一律标注构造性设计,用两条线代替行业平均分:
- 当前真实水平基线:就这些新判据而言尚未测量——v2 十二个场景没有一个包含它们(evolve_report_v2 §5.4 明确列出双说话人/音频素材/画外音/出场过程/道具跳变/JSON 通道在本轮全部未被触发),所以当前水平 不是 99.67 也不是任何已知数,如实记为未知。这是诚实基线,不许拿旧维度的高分替新维度背书。
- 目标线:95(沿用 baseline_target.md §四 target,即"优秀档下限"而非满分样本)。
- 观测计划:下一轮 Evolve 用 test_scenarios_v3 的 TS-13~TS-18 首跑真实产出回填,把"未知"换成 实测分布;那时才谈得上把构造性判据换成校准过的判据。
沿用 v2 有真实先例维度的记录(industry_avg 信息的替代物,不虚构):
| 维度 | 先例状态 | 参考线 |
|---|---|---|
| D1-D4 | 多信源 + v1 已校准(knowhow §1.1/§4/§5);实测层面在两轮重训中从未失分 | 基线 99-100(v1/v2 两轮实测区间)、目标 95 |
| D5 | 1 个真实先例(conv-mtabpqx9:[Chinese] 你出去看看。)+ TS-11 修复证据 |
先例失败态=档 2;修复态=100 |
| D6 | 1 个真实先例(static shot with small amplitude shake) | 同上 |
| D7 | 1 个真实先例(水印 scene 图被静默引用),"正确阻塞"侧至今 0 条真实产出样本 | 静默引用=档 2 → 上限 70;正确阻塞侧按 C3 单独计量 |
| D8 | 1 个真实先例(光源矛盾 + 擅自加剧情) | — |
| D9 | 1 个真实先例(结构正确但缺固定检查清单) | — |
| block 轨 B1-B5 | 0 个真实先例(纯构造性设计,本轮新设) | 目标线 85/场景,首跑回填实测 |
七、场景覆盖矩阵(v3 验收自查)
| 要求覆盖项 | 场景 | 出处标注情况 |
|---|---|---|
| Ref2VA 带 url 资产层 | TS-09 / TS-12 / TS-13 | A + B |
| 多镜头剧情保真(master 需求 3) | TS-14 | B/C 标注 |
双说话人 (S1)/(S2) 跨镜稳定 + 合并 ID |
TS-15 | A |
| 音频素材 Audio N 锚定含 speaker 绑定 | TS-16 | A |
| 画外音 off-screen voiceover | TS-17 | A |
| 标点双口径 · 口径 V(verbatim) | TS-09 / TS-11 / TS-14 | A |
| 标点双口径 · 口径 R(standardize) | TS-18 | A |
| JSON 通道可解析性(内部规范) | 全场景 + TS-13 显式 | B |
| 人物出场过程 / 道具跨镜连续(内部增强) | TS-14 | A+B / B |
| painted_skin_room 真实样例 | TS-09(整样例升级,含 note 原文与指定版本 tag) | 真实输入 |
| 已知会失败的判别样本 | TS-09(预期正确行为=阻塞)/ TS-18(R 口径下照抄装饰标点应得低分) | — |
三处遗留拍板(标签映射 / 标点作用域 / 阻塞计分)均已给出结论,见 §二 C1/C2/C3; 无待议项。