version: v4 generated_by: innovator-digest date: 2026-08-27 based_on: hunt/knowhow_v4.md + sources_v4.json(T-mtbn18a4)+ master_input_storyboard_case_v4.md + Innovator 四项拍板 R1-R4 + v3 遗留 L1-L3 supersedes: benchmark_v3.md quote_verification: 新增 A 级引文已由 Digester 于 2026-08-27 独立复抓核对(7 个官方文件全部 HTTP 200,
字节数与 sha256 前 16 位与 sources_v4.json 逐一致,行号逐字命中,见 benchmark_v4_revision_notes.md 附录 A)
H3 视频提示词质量评分基准 v4 — h3-video-prompt
生成者:innovator-digest(Phase 2 Digest,v4 增量修订)|日期:2026-08-27 评分对象:该 agent 针对一条用户视频创意产出的最终交付物。v3 起按产出形态分轨计分; v4 把轨制从两轨扩到三轨(prompt / block / clarify,见 §二 C3/C8)。 前身:
benchmark_v3.md(2026-08-27,9 维度 + C1/C2/C3)。v4 不推翻 v3 的九维度骨架、权重与双轨计分制, 只做四类事:把 knowhow_v4 揭示的「两种官方习语」落成条款(C4-C7)、把 master 拍板的 R1-R4 落成条款、 把 v3 遗留的 L1(反问清单判分口径双读法)写死成第三轨、把 L2/L3 逐项闭环。
〇、v3 → v4 修订背景
0.1 触发源(四股输入)
- knowhow_v4(Hunter v4 轮,T-mtbn18a4,Innovator 已独立复核)新揭示的事实:
- 官方仓库并存两种提示词习语,且两者的语言规则互相冲突:习语甲(h3-prompt-writing) 要求正文英文(官方 SKILL.md:33);习语乙(官方 skills/ 下 8 个风格 skill)要求 "The final prompt language must follow the dominant language of the user input: Chinese input produces Chinese…"(handdrawn-live SKILL.md:13)。两条都是官方逐字条文,但属不同层级文本。
- master v4 案例(分镜镜头脚本)的官方同型母本已找到:co-op-game-intro-generator 的
h3-video-prompt-template.md逐字使用[0秒–2秒]…[10秒–15秒]六个时间窗标题(:50-121), 每窗首行是景别/机位字段,六窗边界相接、总和 15s,与 master 案例逐窗同长(knowhow_v4 §2.2 逐项对照)。 - 「4–15 秒」时长范围本轮钉死到 README.md:73 官方规格表逐字
| Output duration | 4–15 seconds |; 时长指定走请求体duration_seconds(三个官方脚本实测 5/8/10),不进提示词正文。 - 时间窗边界纪律官方证据分三层(无缝隙 A 级 / 无重叠相邻条款 / 总和与首窗为构造性),不得合并成一句 「官方要求」(knowhow_v4 §7 分级表)。
- 非锚点参考图官方不允许也不要求秒级对齐:ref-en.txt 全文 0 处 "aligns with"(本轮 grep 复核), 官方落位是镜头映射(ref-en.txt:70-73)或角色绑定(co-op template:18-23)。
- master_input_storyboard_case_v4.md:master 给的期望产出形态参考(单人义肢少女六窗分镜), 本轮必须改写成 benchmark 主场景(TS-19)。
- Innovator 四项拍板 R1-R4(本基准负责落条款,见 §二 C4-C7)。
- v3 遗留三项:L1 反问清单判分口径双读法(evolve_report_v3 §四.2 / fde_report_v3 §五.1)、 L2 B1-B5 构造项回填检查、L3 evolve_report_v3 / fde_report_v3 登记的其他遗留项。
0.2 引文独立性说明(诚实记录)
本基准所有新增 A 级引文已由 Digester 于 2026-08-27 独立复抓 raw.githubusercontent.com 并逐字比对,
7 个官方文件全部 HTTP 200、零重试零超时,字节数与 sha256 前 16 位与 sources_v4.json 登记值逐一致:
| 文件 | bytes | sha256 前 16 位 | 结果 |
|---|---|---|---|
README.md |
40135 | 7964f3044d3c7efa |
✓ 与 s05 一致 |
skills/co-op-game-intro-generator/references/h3-video-prompt-template.md |
10331 | 7fac20c236de585d |
✓ 与 s13 一致 |
skills/3d-animation-short-generator/references/shot-table-spec.md |
7803 | d4770ff3f7c6d1d8 |
✓ 与 s17 一致 |
skills/3d-animation-short-generator/references/storyboard-guidelines.md |
14959 | a1a5aaed9681dd2f |
✓ 与 s16 一致 |
skills/handdrawn-live-video-generator/SKILL.md |
7911 | 5c62175b552f51ed |
✓ 与 s19 一致 |
skills/co-op-game-intro-generator/SKILL.md |
8216 | 8b49cf84a70fbbc9 |
✓ 与 s12 一致 |
scripts/readme/reproducible-768p-t2va-request.sh |
3425 | 78bfe72365f27a53 |
✓ 与 s25 一致 |
指定行号逐字命中(README:67/:73/:85、co-op template:18-23/:48/:50/:51/:53/:55/:63-68/:75/:77/:79/:102/:104/:106/:111/:113/:115/:117/:121/:122/:128/:133、shot-table-spec:23/:62/:65、storyboard-guidelines:47、handdrawn:13/:57/:61-63、base-en:86/:146、t2va 脚本:19)。
负向主张独立复核成立:base-en/ref-en grep -ciE 'gap|overlap' 零命中、窗式写法 [Xs-Ys]/[X秒–Y秒] 零命中、
ref-en aligns with 零命中、co-op 模板 <d> 零命中且六窗「声音:」字段均为声音氛围描述(无对白/台词字段)。
完整日志见 benchmark_v4_revision_notes.md 附录 A。仍不可达部分沿用 knowhow_v4 §11:platform.minimax.io
开放平台 schema 本轮仍未核实(未重试,本轮问题集不涉及);conditions[].role 枚举第二信源仍缺;
skills/*/SKILL.cn.md 8 个中文版未抓(引用一律以英文版/模板原文为准)。
0.3 出处分级体系(沿用 v3,贯穿全文)
| 等级 | 含义 | 引用形态 |
|---|---|---|
| A | 官方逐字条款 | 官方文件:行号 + 原文 |
| B | 内部规范(我方工程约定 / 评审推演,方向与官方不矛盾,且有相邻官方条款) | 标注「内部规范」并给出提出来源 |
| C | 构造性设计(无任何真实先例或官方文本,从规则合理推演出的收口/边界处理) | 标注「构造性设计」 |
一、维度设计(沿用 v3:9 维度,权重 20 + 10×8 = 100)
| 维度 | 名称 | 权重 | v4 变化 |
|---|---|---|---|
| D1 | 官方输入模式覆盖度(核心锚点) | 20 | 增补习语判定判据(C4)+ 非锚点图不做秒级对齐(C4)+ 习语乙 Reference roles 落位 |
| D2 | 结构化字段完整性 | 10 | 按习语分轨:习语甲沿用六字段/三字段;习语乙为时间窗结构判据(新增) |
| D3 | 声音设计完整性(含 N/A 精确条件) | 10 | 增补习语乙「声音」字段落点(v3 档位不变) |
| D4 | 具体性 vs 空洞质量词 | 10 | 增补 UI 文字四禁令判分落点(C7) |
| D5 | 对白逐字保真与 <d> 格式(硬性规范) |
10 | 按习语分轨:习语甲口径 V/R 两套五档不变;习语乙新增子表(本轮 grep 实证官方模板 0 处 <d>) |
| D6 | 运镜与镜头语言一致性 | 10 | 增补「每窗/每镜首行显式机位或主导运镜」(闭环 v3 遗留 §四.3)+ 时间窗边界纪律(C5) |
| D7 | 素材可用性预检与阻塞报告 | 10 | 增补习语乙资产层义务(Reference roles + url 不进正文) |
| D8 | 意图忠实与扩写边界(含输入冲突解决) | 10 | 增补总时长冲突解决判据(TS-28) |
| D9 | 输出前机械校验 | 10 | 按习语分轨的词法纪律 + 时长不进正文校验项(C6)+ UI 四禁令机械校验(C7) |
算式:20 + 10×8 = 100(与 v2/v3 完全一致,本轮不加第 10 维)。
为什么不在本轮新增第 10 维(习语乙形态维):knowhow_v4 §10.7 建议的新判据(每窗首行机位、每窗 UI、 可量化状态、UI 可读禁令、非锚点图不秒级对齐)全部可以落在既有 D1/D2/D4/D6/D9 内,与 v3 拒绝第 10 维的 同一理由成立(v3 revision_notes §三:再切新维度会稀释仅有少量真实先例的行为类维度的权重可解释性)。 习语乙形态的「结构」判据归 D2(它本质是字段完整性)、「记号词法」归 D9(机械校验)、「习语选择」归 D1 (它本质是模式判定)——判据增加,维度数与权重不动。
二、全局裁决条款(C1-C8;C1-C3 沿用 v3,C4-C8 为 v4 新增)
C1 标签映射与两层分离([v3继承],v4 增补习语乙侧落位)
v3 全文有效:资产层(url 逐张保留、顺序 = 菜单顺序 = 自动编号顺序、url 不进正文)/
正文层(习语甲:官方四标签 <Subject/Picture/Video/Audio N> + (Sx),禁官方外编号词法与幽灵编号)、
三种常见素材的正文层落位、序号内联引用写法、判分细则。
v4 增补(习语乙侧的两层落位):C1 的两层分离逻辑跨习语成立,但正文层记号体系按习语分轨:
| 层 | 习语甲(英文结构化) | 习语乙(时间窗散文) |
|---|---|---|
| 资产层 | conditions[].uri / references 数组,原 url 原样、顺序 = 菜单顺序 |
同左(跨习语不变量:url 保真与顺序义务与习语无关) |
| 正文层记号 | <Subject N> / <Picture N> / <Video N> / <Audio N> + (Sx)(A:ref-en.txt:26-34) |
头部 ## Reference roles 式职责声明 + 角色占位符/角色名回指(A:co-op template:18-23);master 形态的「参考图1/参考为图1」序号回指 = C 级构造(与 chat_template.json 自动编号机制相容,官方无逐字先例) |
| 落位 | 场景图独立 <Picture N> 锚点;立绘绑 <Subject N> 内联序号引用(ref-en.txt:62/:68/:313) |
头部声明各图职责(A:co-op:18-23 {ui_ref}/{player1_ref}),在涉及该来源的窗内语义回指(A 行为先例:co-op:51 "延续 {ui_ref} 的构图逻辑"、:70 "保留 {ui_ref} 的布局和层级") |
| 秒级对齐 | 仅首尾帧锚点专属(base-en:25/31/201/215) | 无任何秒级对齐:四类参考角色零秒锚(本轮复核);把「非锚点图对齐到秒/时间窗」写成产出 = 违规(见 C4) |
- 幽灵编号禁令延伸到习语乙(C 级构造,同 v3 收口逻辑):凡以素材身份进入资产层的图片,要么在 头部职责声明中被点名、要么在某个窗内被回指,不允许成为完全无人认领的素材。
- 两套正文层记号互不越界(B 级内部规范):习语甲交付里出现
{ui_ref}式占位符、或习语乙交付里 出现<Subject N>四标签,本身不构成词法违规(官方没有禁止跨用的条文),但不得以「用了对方记号」 替代本习语自己的必备结构(习语甲缺四标签、习语乙缺职责声明,仍按各自维度扣分)。
C2 对白标点双口径作用域条款([v3继承],v4 增补习语乙作用域)
v3 全文有效:口径 V(用户提供台词,逐字保真,base-en.txt:129)/ 口径 R(参考音频复用或要求
reperformance,标准化 + 终止符 + [unclear],ref-en.txt:274)、来源判定顺序(默认 V)、逐句适用、双向反向约束。
v4 增补(习语乙作用域):口径 V/R 的词面纪律跨习语成立(源词与原语言永不改写、标点按来源处理),
但包裹记号与编号记号按习语分轨——本轮独立复核实证:官方 co-op 模板全文 0 处 <d>、六窗
「声音:」字段均为声音氛围描述、无任何对白字段(grep 复核,见 §〇.2):
| 记号 | 习语甲 | 习语乙 |
|---|---|---|
<d>[Language] ...</d> 包裹 |
硬判据(A:base-en.txt:129 所在的语法体系) | 非硬判据(B 级收口:官方习语乙文本无 <d> 先例;不强制、出现亦不算违规) |
(Sx) 说话人 ID |
硬判据(A:base-en.txt:127、ref-en.txt:278) | 非硬判据(B 级收口:官方 co-op 模板 0 处 (Sx));若使用则须遵守同一稳定性纪律(按发声事件顺序分配一次、跨窗同 ID、无声者无 ID) |
画外音固定短语 says in an off-screen voiceover |
硬判据(A:base-en.txt:136/:139) | 不强制英文短语(B 级收口:该条款属习语甲文本);语义等价要求成立——须明确标记「画外音/画外发声」并在其后声明在场人物唇部保持闭合;若 agent 在中文散文中使用英文短语亦不算违规 |
| 台词逐字保真(源词/语言/标点纪律) | 硬判据(A) | 硬判据(B 级收口):官方习语乙文本无逐字对白条款,但 C2 的共用不变量 + handdrawn:13 "Only user-required proper nouns, model names, or literal parameters may remain unchanged" 支持同向收口;台词被改写/翻译在两套习语下都是核心违规 |
判分落点见 §三 D5 习语乙子表。
C3 阻塞场景计分方式([v3继承]:双轨分开计量 + 阻塞报告实体化判分)
v3 全文有效:场景元字段 expected_outcome: prompt | block、block 轨 B1-B5 实体判分(不打 N/A 满分)、
折中行为最严判、记账与达标分开、两轨禁止合并平均。B1-B5 分值 25 + 25 + 20 + 15 + 15 = 100(算式核验通过)。
v4 增补两点:
- 轨别元字段扩到三值:
"expected_outcome": "prompt" | "block" | "clarify"(clarify 见 C8)。 实际触发条件与声明不符时以实际条件为准并在评分记录里注明轨别变更原因(v3 规则延续)。 - block 轨 B3(补料预案)在习语乙场景下的实体内容:分镜类阻塞的预案须说明拿到替代素材后的 窗式切分方案(窗口划分、每窗三要素分配)+ Reference roles 绑定映射 + 预计习语不变;只报 「缺料等通知」而无预案 → ≤10(与 v3 同判,实体内容按交付习语形态走)。
C4 习语双轨与切换判据(v4 新增,R1 落条款——本轮最大条款缺口)
裁决(Innovator R1 拍板,本基准落成分轨判据):交付形态按需求类型二选一,不得混用:
| 习语甲:英文结构化 Prompt | 习语乙:中文时间窗散文 | |
|---|---|---|
| 适用需求 | 用户要求英文结构化 Prompt / JSON 交付 / 官方字段结构(六字段或三字段);输入本身是英文结构化请求 | 分镜类需求:用户给出连续故事情节(多段因果连续的事件序列)且要求按时长切分显示内容("每隔几秒显示什么"/"分镜"/"时间窗") |
| 交付形态 | 官方字段结构 + 英文正文 + <d>/(Sx)/四标签 |
[X秒–Y秒] 时间窗标题 + 每窗机位/动作/UI/声音内容 + UI 字符串英文单语 |
| 语言规则出处 | A:官方 SKILL.md:33 "Write rewrite sections in English; preserve dialogue, lyrics, and visible scene text in their original language." | A:handdrawn SKILL.md:13 "The final prompt language must follow the dominant language of the user input: Chinese input produces Chinese…" |
| 结构出处 | A:base-en.txt / ref-en.txt 五模式 | A:co-op template:48 "## Fixed timeline framework" + :50-121 六窗标题 |
切换判据(等级 B 内部规范,master R1 拍板;官方无「两种写法何时选哪种」的条款——knowhow_v4 §4.5 已如实标 B 级缺口):
- 输入含连续故事情节 + 按时间切分显示内容的要求 → 习语乙。依据:master 案例与官方 co-op 模板
结构同型(A 级,knowhow_v4 §2.2 逐项对照表);官方把这类窗式文本直接作为喂 H3 的最终 prompt
(A 级行为证据:co-op SKILL.md:16 "Use
references/h3-video-prompt-template.mdwhen refilling the final Minimax H3 video prompt in STEP 6")。 - 输入要求英文结构化 Prompt / JSON / 官方字段结构 → 习语甲。
- 两者都不满足 → 沿用现役 SKILL v0.4.0 的五模式判定(D1 原判据),交付形态默认习语甲。
- 习语选择错误是 D1 档 2 级违规(形态误判):分镜类需求交出英文六字段结构、或英文结构化需求 交出中文窗式散文,都判 D1 档 2(判别样本 TS-21)。交付说明/中文沟通不受此限(说明层语言自由, 现役 SKILL §0 已有此区分)。
语言规则冲突的处理原则(与 C2 同构):两条语言规则都是官方逐字条文,但分属不同层级文本 (h3-prompt-writing 是五模式格式规范;skills/ 风格 skill 是随附工作流规范),谁也不覆盖谁, 按 C4 切换判据选边后适用对应规则;禁止把习语甲的「正文必须英文」套用到习语乙交付上判违规, 反之亦然。现役 SKILL v0.4.0 §0 的硬规则按习语甲范围书写,Evolver 侧须按 C4 重写作用域 (交接项,见 revision_notes §五)。
C5 时间窗边界纪律分级表(v4 新增,R3 落条款——禁止合并成一句「官方要求」)
四条纪律分行落地、各自标级,任何交付物(含 SKILL/评分记录)把下表合并成一句「官方要求无缝隙无重叠 且总和等于总时长」即为出处纪律违规(自查清单第 22 条的延伸适用):
| # | 纪律 | 等级 | 官方证据 |
|---|---|---|---|
| 1 | 无缝隙(相邻窗/相邻秒不留空档) | A(习语乙) | shot-table-spec.md:65 "…every second from 0s to the shot duration is covered by a Per-Second Directives entry… Sub-second beats like 2.0–2.5s are allowed but must not leave any time gap.";storyboard-guidelines.md:47 "Panels must cover the full shot duration from first frame to last frame with no time gaps."(本轮逐字复抓命中) |
| 2 | 无重叠 | A(习语甲,相邻条款) | base-en.txt:86 "…begin each one with a strictly increasing cut time that falls within the video duration"(严格递增 ⇒ 不重叠);⚠️ "gap"/"overlap" 两词在 base-en.txt 与 ref-en.txt 零出现(本轮 grep 复核),无直白无重叠句 |
| 3 | 各窗之和 = 总时长 | C(构造性设计,相邻 A 级已列) | 官方六窗模板(co-op:50-121)与七段模板(handdrawn:61-65)构造性首尾相接收在总时长上,无任何文本写明该纪律 |
| 4 | 首窗从 0s 开始 | C(构造性设计,行为先例 A 级) | 所有官方模板首窗/首段从 0 开始(co-op:50、handdrawn:61、shot-table-spec:65 "every second from 0s"),无明文条款 |
判分落点:#1/#2 违规 = D9 档 2(机械校验失败)+ D6 扣分;#3/#4 违规 = D9 档 2(判分执行与 A 级同强度, 但登记与对外表述必须保持 C 级标注——判分强度与出处等级是两件事,不得因为要扣分就把它说成官方条款)。
C6 时长条款升级(v4 新增,R4 落条款)
- 范围 4–15 秒:从内部转述升级为 A 级官方逐字。README.md:73 规格表逐字 "| Output duration | 4–15 seconds |";README.md:67 佐证 "…durations of up to 15 seconds." (本轮逐字复抓命中)。第三方佐证(同为官方 skill 文本):shot-table-spec.md:62 "no shot exceeds 15 seconds. If a beat needs more, split it.";music-video SKILL.md:63 "…15-second single-generation ceiling"。
- 时长指定方式(A 级):时长由请求体
duration_seconds指定,不写进提示词正文——官方三脚本 实测"duration_seconds": 5 / 8 / 10(ref2va:29 / fl2va:25 / t2va:19),README.md:326/344/365/404 可复现案例同构。正文里的时长信息只以时间窗标题/镜头时间戳形式体现(A 行为先例:co-op 末窗收在[10秒–15秒]、handdrawn:65 收在13-15 秒)。 - 判分落点:
- 交付说明须注明本次
duration_seconds取值(B 级内部规范:让调用方可核对,官方无此交付要求); - 正文出现「总时长 X 秒」这类独立时长指令行 → D9 扣分(与 C6.2 冲突);
- 需求时长超出 4–15 秒:不得静默超限。官方 skill 层有 >15s 拆分 + 续接工作流的相邻先例 (music-video:34 "multi-shot storyboard breakdown + tail/head frame continuation"、:63 拆 2–5 秒段), 正确行为是显式说明拆分方案或与调用方确认(B 级内部规范,相邻官方条款已列);照单全收写出 >15s 单段产出 = D8 档 2。
- 需求时长低于 4 秒:同理不得静默产出,须说明低于官方范围(同上等级)。
- 交付说明须注明本次
C7 UI 文字条款(v4 新增,R2 落条款)
- 官方四禁令升级为硬判据(A 级):co-op template:133 逐字包含 "no unreadable UI, no random letters, no misspelled usernames, no extra menu options"(本轮逐字复抓命中)。 落成四条判据:UI 字符串必须可读;不得出现随机字母;用户名/昵称不得拼错;菜单/选项集合不得超出输入 给定的选项(不得自创菜单项)。判分落点:D4(自创选项 = 编造输入事实)+ D9(机械校验)。
- UI 字符串书写形态(习语乙):官方模板 UI 字符串英文单语、独立成行、英文双引号(A 行为先例: co-op:63-67 "“START NEW GAME”" 等)。「中文 (ENGLISH)」中英并列 = C 级构造性设计:出处是 master 输入形态(master_input_storyboard_case_v4.md 的写法),官方零先例、零条款(本轮复核: 官方模板 UI 字符串全部英文单语;base-en.txt:146 要求可见文字原样不翻译)。
- 判分口径:输入自带中英并列形态时正文沿用(输入事实忠实保留,D8);输入只给英文字符串时用 英文单语(A 行为先例)。两种写法都不互相判违规;但把中英并列表述成「官方要求」= 出处纪律违规 (与 C5 同一纪律);把官方模板的英文单语写成「唯一合法形态」同样违规(那是行为先例不是条款)。
- 习语甲侧 UI/可见文字条款不变(A:base-en.txt:146,v3 未引过该行号,本轮补引)。
C8 clarify 轨(v4 新增,L1 写死——反问清单型判分口径双读法裁决)
问题(v3 遗留 L1,evolve_report_v3 §四.2 / fde_report_v3 §五.1):TS-01/07/08 这类「正确行为是 一次性反问、不出正式 Prompt」的场景,其 D2/D3/D4/D6 怎么判没有明文。两种读法差 4.1 分: 实体化口径(正文内容维度记 2/5,均值 93.88)vs 宽松 N/A 口径(记满分,均值 98.00)。
裁决:单设第三轨(clarify 轨),实体化判分,两读法都废除。 理由(与 C3 同一逻辑链,非新发明):
- C3 的病根诊断是「非 Prompt 交付物借 N/A 冲高分」。反问清单是另一种非 Prompt 交付物,同病。 宽松 N/A 读法正是 C3 明令废除的机制(v3 §二 C3(d)),v4 不可能再把它写回判据 —— 该读法就此废除。
- v3 采用的实体化口径同样有问题:它把 §10.1 规定的正确安全行为判到 70-76 分,压在 90 及格线之下 —— 这正是 C3(d) 否决封顶系数时的同一理由(「那会把唯一正确的安全行为压到及格线以下,形成逆向激励」: agent 为冲分会倾向编造主体强行产出,随即触发 D8/D1 扣分,排序结果奖励错误行为)。病根与 C3 完全同构: 把两种性质不同的交付物倒进了为另一种交付物设计的量尺。治本是分账,不是在 70/98 之间二选一。
- 量尺跟着交付物走:clarify 轨对澄清件本身实体打分,与 block 轨对阻塞报告实体打分同一机制。
(a) 轨别判定:场景声明 expected_outcome: "clarify"(依据 SKILL §10.1 的正确行为预判);评分时按
实际产出形态定轨——声明 prompt 而实际产出为澄清件 → 改判 clarify 轨按 CL1-CL5 计分(v3 的
D2-D6 记 2/5 实体化口径就此废除);声明 clarify 而实际产出为正式 Prompt → 改判 prompt 轨按九维度计分。
两种改判都必须在评分记录里注明原因。
(b) clarify 轨实体判分表(满分 100,算式 30 + 25 + 15 + 15 + 15 = 100):
| 检查项 | 分值 | 判据 |
|---|---|---|
| CL1 缺失项一次问全 | 30 | 一次性列出全部缺失关键信息(主体/场景/动作/情绪基调/时长/参考素材及其类型与职责),不挤牙膏;漏问任一会改变产出形态的关键项 → 该项 ≤15;把不改变结果的可推断项也拿去问(过度反问)→ ≤20 |
| CL2 零臆造 | 25 | 不编造具体主体/场景/剧情往下写、不产出「看似合规」的 Prompt 假装完成(对照 SKILL §10.1:核心主体未知替用户编造外观属越权);带出半成品 Prompt → 该项 0 且按 prompt 轨 D8 并行扣分 |
| CL3 分支预判 | 15 | 反问时预判各答案分支会走的模式与习语(如"有情节+要分镜→习语乙时间窗;要英文结构化→习语甲;有参考素材→Ref2VA"),为追问后快速续跑做准备;完全不预判 → ≤7 |
| CL4 已知信息锁定 + 低风险推定显式标注 | 15 | 已知信息(时长/类型/基调)被明确锁定复述;仅对不改变主体事实的低风险参数(时长/基调)在显式标注假设的前提下自行推定,不把推定混进反问 |
| CL5 通道与格式 | 15 | 不伪造看似合规的 JSON 交付;schema 无反问通道时明确说明信息不足;说明层与产出层分离干净 |
clarify 轨得分 = Σ(各项实得分),不做加权折算。不适用九维度、不适用 N/A、封顶规则不适用。
(c) 记账与达标条件(三轨版,取代 v3 C3(c) 的两轨版):
prompt 轨成绩 = 该轨全部场景按 v2 加权口径 (Σ 维度得分/5 × 权重) 所得分数的均值
block 轨成绩 = 该轨全部场景 B1-B5 得分的均值(同时逐场景报告,见达标条件)
clarify 轨成绩 = 该轨全部场景 CL1-CL5 得分的均值(同时逐场景报告,见达标条件)
部署达标条件:prompt 轨均值 ≥ 90 且 block 轨每一个场景 ≥ 85 且 clarify 轨每一个场景 ≥ 85
且 全部场景零静默引用、零臆造
汇报口径:三轨数字分别呈现,禁止任何形式的跨轨合并平均
(d) 与 v3 分数的可比性:v3 的 93.88 是「prompt 轨含反问清单场景(实体化口径)」的两轨数字;v4 把 TS-01/07/08 移入 clarify 轨后,prompt 轨的构成变了,v3 prompt 轨均值与 v4 prompt 轨均值不可直接比 (evolve_report_v3 的可比性声明惯例继续沿用:每轮报告开头声明口径)。B1-B5 与 CL1-CL5 都是 C 级构造性设计、先例数见 §六,达标结论在这些项上是构造性量尺上的达标(v3 已如实登记过同一性质)。
三、逐维度评分标准(每维 1-5 分,加权 = 维度得分/5 × 权重)
标注
[v3继承]的档位文字与 benchmark_v3.md 完全一致;只列发生变化的档位全文或增补锚点。
D1 官方输入模式覆盖度(权重 20,核心锚点)
| 分数 | 判据 |
|---|---|
| 5 | 模式识别正确(单一或组合);[v4] 交付习语判定正确(C4:分镜类需求走习语乙、英文结构化需求走习语甲);Ref2VA 场景下三字段齐全具体;所有非锚点参考图被正确认领(习语甲:<Subject N> 定义句序号内联引用;习语乙:头部职责声明 + 窗内回指);[v4] 非锚点图不做任何秒级/时间窗对齐,分镜草稿图按镜头/窗口映射(A:ref-en.txt:70-73),无幽灵素材 |
| 4 | 模式与习语正确,但 1 处轻微偏差:某个来源用了含糊指代(习语甲文字指代 / 习语乙未写明对应哪张图但不影响理解),或一处职责声明略含糊 |
| 3 | 方向大致对但结构对不上官方:未用官方字段名/窗式标题;或多张立绘被写成独立锚点条目(习语甲违反 ref-en.txt:68);或同一素材既被序号引用又被另行独立定义造成重复认领 |
| 2 | 模式或习语误判(含 FL2VA ↔ Ref2VA 字段结构混用;[v4] 分镜类需求交出英文六字段结构、或英文结构化需求交出中文窗式散文 = 本档,判别样本 TS-21);或出现官方四标签以外的编号词法承担主体识别职责(习语甲);[v4] 把非锚点图写成「对齐到第 X 秒/某时间窗」(官方无此机制,A 级反证:ref-en 全文 0 处 "aligns with",co-op 四类参考角色零秒锚) |
| 1 | 完全没有模式/习语意识;Ref2VA 三字段全缺;或参考素材只被当背景描述带过 |
出处:A 级 ref-en.txt:26-34/:37/:62/:68/:70-73/:313 + SKILL_official.md:14 + co-op template:18-23/:51/:70
- handdrawn:13 + 官方 SKILL.md:33;C 级收口项已在 §二 C1/C4 标注。
D2 结构化字段完整性(权重 10)—— v4 按习语分轨
习语甲(英文结构化交付):[v2继承] 五档不变(字段齐全、顺序正确、Ref2VA 六字段/基础模式三字段)。
习语乙(时间窗散文交付,v4 新增子表):
| 分数 | 判据 |
|---|---|
| 5 | [A] 时间窗标题齐全:[X秒–Y秒] 窗标题覆盖 0 → 总时长、相邻窗边界相接(A 行为先例:co-op:50-121 六窗);每窗含三要素内容:①机位/运镜 ②主体动作 ③UI/覆盖元素(A 同型:官方字段族 景别机位/画面内容(动作)/UI结构/HUD结构/环境转化,co-op:51-128);声音内容落点明确(窗内声音描述,A:co-op:72/:83/:99/:108/:119/:130) |
| 4 | 窗结构齐全,1 处轻微缺失:某窗的 UI 要素内容弱(仅一句带过)或某窗声音未写但不影响整体 |
| 3 | 缺一个窗、或某窗缺三要素之一(有机位无动作/有动作无 UI)、或窗标题写法与 [X秒–Y秒] 形态漂移到不可核对(如只有序号无时间) |
| 2 | 窗式结构残缺(≥2 窗缺要素 / 未覆盖全时长 / 窗序与故事情节因果序冲突);字段名标签形态说明:官方模板用带字段名的结构化段落、master 案例用散文段落,两者都合规(A 同型),不因「没写字段名标签」扣分,只看三要素内容是否齐备 |
| 1 | 无窗式结构,或内容与窗标题错位(所述内容不属于该时间窗) |
D3 声音设计完整性(权重 10)—— [v2继承],五档与 N/A 精确条件不变。
v4 增补锚点:习语乙交付中,声音内容写在窗内(A 行为先例:co-op 六窗「声音:」字段);整体声音氛围 连贯性按 v2 同一标准判(环境声类型/卡点/音乐风格不因形态切换而免检)。
D4 具体性 vs 空洞质量词(权重 10)—— [v2继承],五档不变。
v4 增补判分落点(C7):UI 文字层面的具体性用官方四禁令判(A:co-op:133)——自创菜单选项 ("no extra menu options")按「编造输入事实」计入本维 2 分档 + D9 机械校验失败;随机字母/拼错用户名 同理。数字/状态可量化(进度条 0%→100%、高亮切换)是 A 级同型加分锚点(co-op:77/:113)。
D5 对白逐字保真与 <d> 格式(权重 10,硬性规范)—— v4 按习语分轨
习语甲:[v3继承] 口径 V / 口径 R 两套五档 + 双说话人判据 + 硬错误下限(上限 75)全部不变。
习语乙(v4 新增子表):前置步骤不变(逐句判台词来源 → 选口径 V/R),词面纪律照 C2 延伸适用; 包裹与编号记号非硬判据(C2 习语乙行)。
| 分数 | 判据 |
|---|---|
| 5 | 全部台词逐字出现在对应时间窗内:原词、语序、原始标点按口径 V 逐字(或口径 R 标准化 + 终止符);[B] 说话人身份在窗内可辨识(谁说这句清楚,多个说话人不混);画外发声有标记且在场人物唇部闭合声明在位(语义等价标记即可,见 C2) |
| 4 | 保真完全正确,1 处轻微瑕疵(说话人身份要靠上下文推断、或画外标记写了但漏唇部闭合声明) |
| 3 | 1 处保真问题但不改变台词语义(明显笔误式差异、台词放错窗但仍在正确时间邻域) |
| 2 | 擅自改动台词:补句号/感叹号/省略号(口径 V)、删改已有标点、改用词、翻译、补词;跨习语不变量违规(源词/语言被改写)在两套习语下都是本档 |
| 1 | 台词被大幅改写/翻译/语义改变,或整段台词凭空臆造 |
硬错误下限(习语乙版):命中档 1-2 核心违规(源词/语言被改写、V 口径标点被擅自增删)→ 总分上限 75。
<d> 未包裹 / (Sx) 缺失不触发习语乙的上限(记号非硬判据,C2)。
D6 运镜与镜头语言一致性(权重 10)
[v2继承] + [v3继承] 五档与三项增补(多镜头剧情保真 B/C、出场过程 A+B、道具连续 B)全部保留。
v4 增补(闭环 evolve_report_v3 §四.3 遗留:[Shot N] 主导运镜声明落位强度):
| 增补检查项 | 判分影响 | 出处等级 |
|---|---|---|
| 每窗/每镜首行显式声明机位或主导运镜,不得只隐含在画面描述里 | 计入 2 分档(某窗/某镜的机位只能靠猜时) | 习语乙 A 级同型:官方模板六窗首行全部是 景别/机位 字段(co-op:51/:75/:86/:102/:111/:122,本轮逐字复抓命中);习语甲 B 级:官方相邻条款为运镜三维度(base-en.txt:94-96)与逐秒制五要素中的 Camera movement(shot-table-spec.md:25),无逐字「首行必须声明」条款,此为我方从相邻条款收口的内部规范 |
| 时间窗边界纪律按 C5 分行判(无缝隙 A / 无重叠 A 相邻 / 总和 C / 首窗 C) | #1/#2 违规计入 2 分档 | 见 C5 |
| 转场落点:转场信息写进机位行运镜描述 + 不得硬切 | 仅在出现「硬切」类违规时计入 2 分档 | A(负向)+ A:官方无独立转场字段(本轮复核六窗字段集合无转场项);相邻条款为 co-op:117 "转化必须连续自然,不使用硬切,不用烟雾遮挡" 与 :133 no hard cuts;「每窗必须写明转场」不是判据(官方无此要求,B 级缺口如实登记) |
| 官方运镜词表可作锚点(push/pull/pan/tilt/handheld-shake/locked/orbit) | 不单独扣分,作一致性参照 | A:shot-table-spec.md:25 / storyboard-guidelines.md:38;「平滑 + 具体部位」运镜短语是官方文风(co-op:75/:86/:102,A 同型) |
D7 素材可用性预检、资产层保真与阻塞报告(权重 10)
[v2继承] + [v3继承] 预检 note、职责声明、阻塞双向判据、资产层义务(url 逐张保留、顺序 = 菜单顺序、
url 不进正文)全部保留。v4 增补锚点:
| 分数 | 判据(v4 增补以 [v4] 标出,其余同 v3) |
|---|---|
| 5 | 逐项预检全部素材 note;每条参考素材原 url 原样保留进资产层、顺序 = 菜单原始顺序、url 从不出现在正文层;[v4] 习语乙交付时头部有参考素材职责声明(A:co-op:18-23 同型),每个素材在正文层被认领;必需素材不可用且无替代时按 C3 流程产出合格阻塞报告 |
| 4 | 预检完成、url 齐全,1 处轻微问题(顺序一处不一致但绑定可推断 / 1 处职责声明略含糊 / [v4] 某窗回指来源图时未写明对应哪张但不影响理解) |
| 3 | 1 处素材不可用但降级处理;url 改链/下载替换;缺 1 条 url |
| 2 | 识别到不可用素材仍静默引用;url 写进正文层 |
| 1 | 完全未预检,全部素材堆进资产层;无视「必须替换」型 note 引用污染素材 |
硬错误下限(沿用 v2/v3):必需素材不可用且无替代时静默引用 → 上限 70。
D8 意图忠实与扩写边界(含输入冲突解决)(权重 10)
[v2继承] 子块 A 冲突解决 / 子块 B 扩写边界五档全部沿用(含「被阻塞」与「主动跳过/臆造」的语义细分,
v4 继续保留该区分度——内部语义比行业惯例更严格是有意的设计选择,不向外部惯例合并)。
v4 增补判分落点(C6/C7 配套):
- 总时长冲突(判别样本 TS-28):用户给的节拍总合 ≠ 请求时长时,按 §0.5.3 最小改动解决(合并/压缩 窗口到请求时长)并在交付说明显式说明改了哪里、为什么;照抄超时长窗式(产出 18s 窗口去填 15s 需求) = 本维 2 档 + D9 机械校验失败;静默删掉一段故事情节去凑时长 = 本维 1 档(情节被实质改写,与 v3 D6 情节保真 B/C 判据同向)。(等级 B:相邻官方条款为 README.md:73 范围 + shot-table-spec:62 单镜头 15s 上限;「最小改动 + 显式说明」沿用七步工作流第三步内部规范。)
- UI 选项集合:输入给定的菜单/选项是输入事实,不得增删(A:co-op:133 "no extra menu options")。
D9 输出前机械校验(权重 10)
v3 的两条锚点保留(顺序命题重述 + 习语甲词法纪律)。v4 把词法纪律按习语分轨,并新增三项机械校验:
- [v4 习语分轨] 正文层词法:
- 习语甲:只允许
<Subject/Picture/Video/Audio N>与(Sx)两族记号(v3 原文不变); - 习语乙:头部有参考素材职责声明(co-op:18-23 同型 / master 形态「参考图1,UI风格参考图2」均可), 正文回指与声明同一体系(角色名或序号,不半途换体系);url 不进正文(跨习语); 每个素材至少被认领一次(幽灵禁令延伸,C 级)。
- 习语甲:只允许
- [v4 新增] 时长机械校验(C6):正文无独立「总时长 X 秒」指令行;时间窗/时间戳落在 4–15 秒范围内;
交付说明注明
duration_seconds取值。 - [v4 新增] 窗边界机械校验(C5):相邻窗相接无空档(A)、无重叠(A 相邻)、各窗之和 = 总时长(C)、
首窗从 0s 开始(C);子秒窗标记(如
2.0–2.5s)允许但不得留 gap(A:shot-table-spec:65)。 - [v4 新增] UI 文字机械校验(C7):UI 字符串可读、无随机字母、无拼错用户名、选项集合 = 输入给定 集合(A:co-op:133 四禁令)。
| 分数 | 判据 |
|---|---|
| 5 | 机械项全过:段落/窗结构齐全顺序正确、字段名或窗标题精确、标签编号/素材认领一致、references 顺序 = 菜单顺序 = 自动编号顺序、正文无官方外词法(按习语)、[v4] 时长/窗边界/UI 四禁令三项机械校验全过、JSON 可解析(习语甲)、无占位符、无 schema 外字段 |
| 4 | 1 处非核心机械问题(字段名大小写、1 个序号被引用两次、[v4] 一处窗边界以 0.1s 内的亚秒误差相接但仍可核对为相接) |
| 3 | 2 处机械问题,或 1 处中等结构问题(缺一段/一窗、references 顺序错位一处以上、一个幽灵编号、[v4] 一处窗边界留有可测的 gap 或重叠) |
| 2 | ≥3 处机械问题,或字段名错误、JSON 不可解析、留有模板占位符、官方外编号词法(习语甲)、[v4] 窗之和 ≠ 总时长 / 首窗不从 0 开始 / 正文出现独立时长指令行 / UI 四禁令任一命中 |
| 1 | 结构混乱,无法识别为合规输出 |
JSON 序列化通道可解析性仍是内部工程规范(B 级),习语甲 JSON 交付适用;习语乙散文交付无 JSON 通道 要求,不得因「没交 JSON」扣分。
四、总分计算方法
4.1 prompt 轨
加权和 = Σ(维度得分/5 × 维度权重) (满分 100)
权重算式:20 + 10×8 = 100 (D1=20,D2-D9 各 10,与 v2/v3 完全一致)
N/A 处理:仅当"该维度对应的违规行为在该产出中根本不可能发生"时记满分,且仅适用于 prompt 轨;
阻塞报告与澄清件不得借 N/A 拿满分(C3/C8)。
4.2 封顶(v3 三道上限全部保留)
D1 封顶:D1 ≤ 1 → 上限 40 ; D1 = 2 → 上限 60 ; D1 ≥ 3 → 不封顶
D5 硬错误下限:命中口径 V/R 任一的 1-2 档核心违规(按习语分轨定义,见 D5)→ 上限 75
D7 硬错误下限:必需素材不可用且无替代时静默引用 → 上限 70
最终得分 = min(加权和, 所有已触发的上限)
4.3 block 轨
得分 = B1-B5 实得分之和。算式:25 + 25 + 20 + 15 + 15 = 100(与 v3 一致,逐项核验通过)。 不套用九维度、不适用 N/A、封顶规则不适用。习语乙场景的 B3 实体内容按 C3 v4 增补执行。
4.4 clarify 轨(v4 新增)
得分 = CL1-CL5 实得分之和。算式:30 + 25 + 15 + 15 + 15 = 100。 不套用九维度、不适用 N/A、封顶规则不适用。轨别判定与改判规则见 C8(a)。
4.5 判定等级与达标线(passing_score = 90 沿用)
| 分数区间 | 等级 | 处置 |
|---|---|---|
| ≥95 | 优秀(目标线) | 达到训练收敛目标,可部署 |
| 90-94 | 合格(硬性部署线) | 达到部署门槛 |
| 75-89 | 待改进 | 需补齐薄弱项重评 |
| 不合格 | 结构性缺失或硬错误触发封顶 |
部署达标条件(v4 三轨版,取代 v3 C3(c) 两轨版):prompt 轨均值 ≥ 90 且 block 轨每场景 ≥ 85 且 clarify 轨每场景 ≥ 85 且 全场景零静默引用、零臆造。三轨分数分开汇报,禁止合并平均。
五、判据出处对照总表
5.1 v3 已登记 21 条(全部沿用,等级不变)
见 benchmark_v3.md §五(#1-#21),本轮无一条被推翻;其中 #7 幽灵编号禁令(C)、#20 阻塞报告 B1-B5(C) 继续如实标 C 级(L2 复核结论,见 revision_notes §三.2)。
5.2 v4 新增判据(逐一登记)
| # | 判据 | 等级 | 出处 |
|---|---|---|---|
| 22 | 时间窗标题 [X秒–Y秒] 是官方交付形态(习语乙) |
A | co-op template:48 + :50/:74/:85/:101/:110/:121(本轮逐字复抓命中) |
| 23 | 习语乙正文语言跟随用户输入主导语言 | A | handdrawn SKILL.md:13 |
| 24 | 习语乙每窗首行字段 景别/机位(六窗齐备) |
A | co-op template:51/:75/:86/:102/:111/:122 |
| 25 | 习语乙参考素材按角色绑定 + 头部职责声明 | A | co-op template:18-23({ui_ref}/{player1_ref} 等)+ 窗内回指 :51/:70 |
| 26 | master 分镜案例与官方 co-op 模板结构同型(单人变体) | A | knowhow_v4 §2.2 逐项对照表(六窗同长 + 元素逐字命中) |
| 27 | 习语切换判据(分镜类→乙 / 英文结构化→甲 / 都不满足→沿现役五模式默认甲) | B(内部规范,master R1 拍板) | 官方无「何时选哪种」条款(knowhow_v4 §4.5 B 级缺口如实登记);邻近官方证据:co-op SKILL.md:16(窗式文本直接作最终 prompt)、3d-animation SKILL.md:12 与 minimalist-product-ad SKILL.md:14/:60(分镜文档作为生产控制系统) |
| 28 | 两套语言规则不互相覆盖(分属不同层级官方文本) | A(两条各 A)+ B(不覆盖原则为我方收口) | 官方 SKILL.md:33 vs handdrawn:13;收口原则与 C2 同构 |
| 29 | 非锚点参考图不做秒级对齐(反证判据) | A(反证) | ref-en.txt 全文 0 处 "aligns with"(本轮 grep 复核);co-op 四类参考角色零秒锚;习语甲秒级对齐仅首尾帧锚点专属(base-en:25/31/201/215) |
| 30 | 分镜草稿图映射到镜头/窗口而非秒数 | A | ref-en.txt:70-73 "When an image acts as a storyboard or shot-planning reference, state which shots it maps to…" |
| 31 | 无缝隙(相邻窗/相邻秒不留空档) | A(习语乙) | shot-table-spec.md:65 + storyboard-guidelines.md:47 |
| 32 | 无重叠 | A(习语甲相邻条款) | base-en.txt:86 strictly increasing;gap/overlap 零出现(本轮 grep 复核) |
| 33 | 各窗之和 = 总时长 | C(构造性设计) | 官方模板构造性首尾相接(co-op:50-121、handdrawn:61-65),无明文纪律 |
| 34 | 首窗从 0s 开始 | C(构造性设计,行为先例 A) | co-op:50、handdrawn:61、shot-table-spec:65 "every second from 0s" |
| 35 | 时长范围 4–15 秒 | A | README.md:73 ` |
| 36 | 时长由请求体 duration_seconds 指定、不进提示词正文 |
A | reproducible-768p-ref2va-request.sh:29(5)/ fl2va:25(8)/ t2va:19(10)+ README.md:326/344/365/404 |
| 37 | UI 文字官方四禁令(可读/无随机字母/无拼错用户名/无自创选项) | A | co-op template:133 |
| 38 | UI 字符串英文单语(习语乙官方行为先例) | A(行为先例) | co-op template:63-68 |
| 39 | UI 文字「中文 (ENGLISH)」中英并列 | C(构造性设计,master 形态约定) | 出处 = master_input_storyboard_case_v4.md 输入形态;官方零先例(co-op:63-68 英文单语 + base-en:146 原样不翻译) |
| 40 | 转场无独立官方字段;转场落在机位行运镜描述 + 不得硬切 | A(负向)+ A | 六窗字段集合无转场项(本轮复核);co-op:117 + :133 no hard cuts |
| 41 | 每窗/每镜首行显式机位或主导运镜(闭环 v3 遗留) | 习语乙 A 同型 / 习语甲 B | co-op 六窗首行字段;base-en.txt:94-96 + shot-table-spec.md:25(相邻条款收口) |
| 42 | 习语乙台词逐字保真(源词/语言不改写),<d>/(Sx) 非硬判据 |
A(不变量,习语甲侧)+ B(习语乙侧收口) | C2 共用不变量 + handdrawn:13;co-op 模板 0 处 <d>(本轮 grep 复核) |
| 43 | 画外音在习语乙下语义等价标记(画外 + 唇部闭合),英文短语不强制 | B | base-en.txt:136 属习语甲文本;习语乙官方文本无画外音条款(如实登记缺口) |
| 44 | 单镜头 15s 上限(>15s 拆分) | A | shot-table-spec.md:62;相邻 >15s 拆分续接先例 music-video:34/:63(B 级引用) |
| 45 | 总时长冲突最小改动 + 显式说明 | B | 相邻条款 README.md:73 + shot-table-spec.md:62;最小改动沿用七步工作流第三步(内部规范) |
| 46 | clarify 轨 CL1-CL5 + 轨别跟随实际产出形态 | C(构造性设计,0 真实先例) | 本基准裁决(L1 写死),与 C3 同一机制逻辑;无可参照先例 |
六、行业基准纪律(诚实标注,不编造行业数字)
延续 v3 §六的判断:h3-video-prompt 是针对单一官方模型的写作方法论技能,不存在可抓取的第三方行业 平均分(飞书标杆文档登录墙自首轮起未解;MiniMax 开放平台文档本轮仍未核实——knowhow_v4 §11 如实登记)。 v4 继续「构造性设计 + 两条线」纪律,并用 v3 首跑的真实产出把一部分「未知」换成实测:
已回填实测的判据(不再标「未知」,数据来自 evolve_report_v3 §三/§五.4,样本量 1-4 条仍偏小):
| 判据组 | 实测回填 |
|---|---|
| 资产层义务 / 幽灵编号 / 双说话人 / 音频锚定 / 画外音 / 标点双口径(v3 TS-13~18 六类盲区) | 首跑完成:D1 新判据实测区间 96~100、D5 双口径 96~100、幽灵编号零发生、双向口径误用零发生 |
| block 轨 B1-B5 | 已有 2 条真实产出(TS-09=100、TS-12=98,evolve_report_v3 §三);区分度仍未压力测试(fde_report_v3 §五.2 维持有效),继续标 C 级构造性设计 |
v4 新增、仍未测量的判据(如实标「未知」,不许拿旧维度高分背书):习语切换判据(#27)、时间窗结构 判据(#22/#24/#31-#34)、时长条款(#35/#36)、UI 四禁令与中英并列(#37-#39)、每窗首行机位(#41)、 习语乙对白分轨(#42/#43)、clarify 轨 CL1-CL5(#46,0 真实先例)。当前真实水平基线 = 未测量; 目标线 = 95(prompt 轨)/ 85(block 与 clarify 轨逐场景)。
已知会失败的判别样本(基准判别力自检,v4 维持并新增):TS-09(静默引用水印图 → 必然触发 D7 上限 70
- D5 上限 75 + B2=0)、TS-18(口径 R/V 颠倒 → 双档 2)、TS-21(新增:习语选错 → D1 档 2)、 TS-28(新增:照抄超时长窗式 → D8 档 2 + D9 档 2)。若评测时这些样本按预期拿到高分,说明判据或 权重有漏洞,应修维度设计而不是调阈值。
七、场景覆盖矩阵(v4 验收自查)
场景集:test_scenarios_v4.json,28 条(TS-01~18 沿用 v3 骨架 + TS-19~28 新增);
轨别:prompt 21 / block 3 / clarify 4(TS-01/07/08 由 prompt 轨改判 clarify 轨,理由见 C8)。
| 要求覆盖项 | 场景 | 出处标注情况 |
|---|---|---|
| 分镜时间窗交付(master 案例单人变体主场景) | TS-19 | C4/C5/C6/C7 全落点 |
| 不同总时长窗式切分 | TS-20(10s) / TS-23(6s) / TS-19(15s) | C5/C6 |
| 习语切换场景(英文结构化 vs 中文分镜散文) | TS-21(判别样本) | C4,D1 档 2 |
| 分镜下参考图落位(非锚点图不做秒级对齐) | TS-22 | #29/#30(A 级反证 + 镜头映射) |
| 时间窗形态回归:双说话人 | TS-23 | C2 习语乙行 + D5 习语乙子表 |
| 时间窗形态回归:音频锚定 | TS-24 | C1 习语乙落位 + D3 |
| 时间窗形态回归:画外音 | TS-25 | #43(B 级收口,缺口如实登记) |
| 时间窗形态回归:资产层 | TS-19 / TS-22 / TS-26 | C1 习语乙行 |
| 时间窗形态回归:出场过程 + 道具跨窗连续 + 子秒节拍 | TS-20 | v3 D6 增补项 + shot-table-spec:65(A) |
| block 轨场景(时间窗形态) | TS-26(+沿用 TS-09/TS-12) | C3 v4 增补(B3 习语乙实体内容) |
| clarify 轨场景 | TS-27(+改判 TS-01/07/08) | C8 CL1-CL5 |
| 已知会失败的判别样本 | TS-09 / TS-18 / TS-21 / TS-28 | §六 |
| 标点双口径 V/R | TS-09/11/14/17(V)、TS-16/18(R)、TS-25(V,习语乙) | C2 |
| url 资产层保真 | TS-05/06/09/12/13/16/18 + TS-19/22/24/26 | C1 |
| 素材数量上限 ≤12 文件 | TS-06 / TS-13(沿用) | v3 #21 |
三处 v3 遗留 + 四项拍板全部落成条款(C4-C8),无待议项;L2/L3 逐项闭环结论见
benchmark_v4_revision_notes.md §三。