benchmark_v5.md 54.4 KB

version: v5 generated_by: innovator-digest date: 2026-08-28 based_on: hunt/knowhow_v5.md + sources_v5.json(T-mtd7r60r,Innovator 已逐项验收放行)+ cache_v5/ 全文落盘 + v4 基线(benchmark_v4.md / benchmark_v4_revision_notes.md / test_scenarios_v4.json) supersedes: benchmark_v4.md input_discipline: R0 官方原文一律读 cache_v5(feishu_doc1 / feishu_doc2),本轮零次复抓、零次复读飞书、零网络请求

quote_verification: 本基准引用的每一处 cache_v5 行号均由 Digester 于 2026-08-28 用 python 逐行抽取逐字比对(复验脚本与本文件同轮落盘,见 benchmark_v5_revision_notes.md 附录 A);负向主张(doc1 零 [Shot N]/零 At MM:SS.mmm、doc2 零窗式)由本机 grep 独立复算,与 sources_v5.json negative_findings 逐项一致

H3 视频提示词质量评分基准 v5 — h3-video-prompt

生成者:innovator-digest(Phase 2 Digest,v5 增量修订)|日期:2026-08-28 评分对象:该 agent 针对一条用户视频创意产出的交付物集合。v4 起按产出形态三轨计分 (prompt / block / clarify,禁合并);v5 在 prompt 轨内新增链路模式(需求理解 → 分镜设计 → 分镜脚本 → H3 Prompt 四层实体判分),并把 v4 只能引 GitHub 镜像的条款全部补上官方一手 (A 级)锚点。 前身:benchmark_v4.md(2026-08-27,9 维度 + C1-C8 + 三轨)。v5 不推翻 v4 的九维度骨架、 权重(20 + 10×8)、三轨结构与 B1-B5 / CL1-CL5 分值,只做六类事(任务书 T-mtd8yff2 六项): ①C-1 时间习语分层裁决;②C-2 语言规则划界;③官方硬约束升 A 级判据;④block/clarify 负样本 提尖 + 区分度证据;⑤TS-26 场景构造修复;⑥链路全流程评分维度。


〇、v4 → v5 修订背景

0.1 触发源

  1. 本轮首次拿到官方一手飞书语料并全文落盘(cache_v5/feishu_doc1…FIWjwgL33ipnkekzk30crmKUnIh.md 147058B / revision 1297;feishu_doc2…Vztzwstuqi3MQKkxs8QcGmxinxe.md 41607B / revision 252)。 v4 之前的「官方口径」全部来自 GitHub 镜像(MiniMax-AI/MiniMax-H3),只能引 sources_v4.json 注册表内的抽样 quotes、无法回查全文。v5 起每条判据都能给 cache_v5 行号。
  2. 官方一手语料内部本身多制式并存(knowhow_v5 §4):C-1 时间分段四种 A 级形态并存、 C-2 正文语言两条 A 级条款张力、C-7 环绕运镜两种 A 级表述并存。这三项 Hunt 只列证据不替选, 由本轮拍板(§二 / §三 / §四)。
  3. v4 遗留 #3 / #4(evolve_report_v4 交接):block/clarify 两轨 100×7 零区分度、TS-26 阻塞理由 登记在输入侧。本轮分别以「更尖负样本 + 退化策略压测」(§十一)与「note 原文进 raw_brief + input_delivered_fields 元字段」(§十 0.3)修复。
  4. 任务书新增要求:本轮训练目标是「需求理解 → 分镜设计 → 分镜脚本 → H3 Prompt」一条链, 不允许只考末端 prompt 生成(§六.2 链路模式)。

0.2 引文复核对账(本轮零网络)

本基准全部 A 级引文的复核方式是读 cache_v5 落盘原文(R0),不是重新抓取。复核动作:

复核项 方法 结果
doc1:35 硬参数表 逐行抽取比对 ✓ 「输出时长 4-15秒」「输出帧率 24 FPS」「提示词字数上限 不超过7000字符」「音频 ≤3段且必须配图片或视频输入,不能单独输入」「混合输入的总上限是 12 个文件」逐字命中
doc1:71 乱码转图 逐行抽取比对 ✓ 「官方小Tips:…将文字以图片形式提供给 H3 作为参考图,并在提示词中明确告诉 H3——"这张内容必须按"图片"来理解,不能按"文字"来处理。"」逐字命中
doc1:97 窗式案例 逐行抽取比对 ✓ 六个窗标题 [0 秒-2 秒]…[10 秒-15 秒] 逐字命中(与 v4 R|s13 co-op 模板逐一同型)
doc1:195/:200 公式与四要素 逐行抽取比对 ✓ 完整提示词 = 参考素材说明 + 核心创意 + 画面过程说明;③行式 0-3 秒:全景…;④0〜3 秒 + 正向/反向;环绕运镜建议 truck left+pan right 或 truck right+pan left,而非直接说环绕运镜
doc1:237 全角波浪窗 逐行抽取比对 ✓ 0〜3 秒- 正向:…- 反向:…(手绘特效 15s 完整案例);同表 MV 案例用 Shot 1 — 无时间戳
doc2:107/:111/:114/:455 时间戳 逐行抽取比对 ✓ 第一镜不写时间戳;后续镜头使用连续编号,并在开头写递增且位于视频时长范围内的切镜时间;[Shot 2] At 00:03.500, the camera cuts to...
doc2:543 篇幅区间 逐行抽取比对 ✓ 生成类任务的 detailed_description 通常为 350—500 个英文单词 + 三条例外逐字
doc2:162/:170 声音段句数 逐行抽取比对 ✓ 使用 1–4 句英文…概括贯穿整段视频的环境声;使用 1–3 句英文描述角色听不到、只有观众能听到的背景配乐
doc2:575 [unclear] 逐行抽取比对 ✓ 无法辨认的部分写作 [unclear],不猜测或改写
doc2:398/:400-405/:427-434 关系标记 逐行抽取比对 ✓ 这些标记是格式中的固定英文取值;可见内容 4 个 + 音频 4 个(共 8 个,非任务书所写的 6 个,见 §五 H9)
负向主张独立复算 本机 python 正则计数(见 §八 表尾) ✓ doc1 全文 [Shot N] 0 处、At MM:SS.mmm 0 处、<Subject N> 0 处、<d> 0 处;doc2 全文 [N秒-M秒] 窗式 0 处、N-M 秒 0 处——与 sources_v5.json negative_findings 第 3 条逐项一致

knowhow_v5 §6.3 两处更正(诚实登记,见 revision_notes §二.4):①「六关系标记」实为 可见内容 4 + 音频 4 = 8 个固定英文取值;②overall_soundscape 1–4 句 / non_diegetic_music 1–3 句 在交接清单里未带行号,本轮已在 doc2:162 / doc2:170 找到逐字出处,升 A 级。 交接清单里没有任何一条被我核出「无出处仍升 A 级」——但有一条被核出计数错误,已按原文落 8 个。

0.3 出处分级体系(沿用 v3/v4,新增 R 级)

等级 含义 引用形态
A MiniMax 官方一手逐字条款 doc1:行号 / doc2:行号 + 原文(doc1/doc2 = cache_v5 两篇飞书文档)
B 内部规范(我方工程约定 / 从相邻官方条款收口,方向不与官方矛盾)或社区一手实践 标注「内部规范」或 github/<repo>:行号
C 构造性设计(无任何真实先例或官方文本,从规则合理推演的收口/边界处理) 标注「构造性设计」
R 复用自 v4 已固化信源(本轮禁复抓) v4 出处(R) + 原 sources_v4.json 行号;升级到 A 级时在 §八 C-8 表登记「原出处 → 现出处」

判据理由纪律(本轮新增,逐条适用):§五与 §八的每条判据都带一句「判据理由」(为什么这条 要进基准、为什么标这个级)。理由给不出的条目不进生效标准;待议项收工时清零(本轮为零, 见 revision_notes §五)。


一、裁决 C-1:时间分段习语的分层收敛规则

knowhow_v5 §4 C-1 列出 4 种 A 级官方形态(①②③④)+ 1 种 B 级社区形态(⑤),只列证据不替选。 本节是 v5 的拍板,不是推翻 v4 R1 的习语甲/乙分轨,而是给分轨补上 A 级一手锚点 + 分层规则。

1.1 四种 A 级形态与本次证据强度

形态 写法 A 级出处(本轮逐字复核) 官方语料内出现次数(本轮 grep)
① [Shot N] + 递增 At MM:SS.mmm,第一镜不写时间戳 doc2:107 / :111 / :114 / :455 doc2 内 [Shot N] 41 处、At MM:SS.mmm 7 处;doc1 内 0 处
② [N 秒-M 秒] 窗式标题 doc1:97(官方「提示词」列完整案例) doc1 内 5 处(:97 六窗 + 例);doc2 内 0 处
③ N-M 秒: 行式 doc1:200(樱花庭院示例) doc1 内 3 处(0-3/3-8/8-12)
④ 0〜3 秒 全角波浪窗 + 正向/反向两栏 doc1:237(手绘特效 15s 完整案例) doc1 内 5 处(0〜3/3〜6/6〜10/10〜13/13〜15)
⑤ 六节大写标题 + [0–Xs] B 级:github/chiphoton text-to-video 模板(C-5 登记不采信) 官方语料 0 处

补充事实(本轮 grep 新发现,knowhow 未列出):doc1:237 的「大字幕 MV」案例用 Shot 1 —(无方括号、 无时间戳) 的第五种变体;doc1:231 坑表把「想一镜到底但写了很多分镜 → 删掉【镜头 N】结构」列为官方 纠错项。结论:doc1 内部分段记号有 4 种变体(②③④ + Shot N—),官方在「案例层」不做记号统一。

1.2 裁决

(a)分层规则:规范层优先于案例层。 doc2 自述「面向开发者的 Prompt 扩写指导文档」(doc2:6)、 「更偏向开发者和专业创作团队使用」(doc2:16),全文给出可机械执行的格式条款(instruction 第一行、 固定标签取值、字数区间);doc1 自述为用户向手册,其分段记号只以案例形式出现。因此:

  • doc2 = 方法论规范层唯一正源:凡涉及「最终 H3 Prompt 的格式与记号」,以 doc2 条款判分。
  • doc1 = 案例与模型参数层正源:模型硬参数(§五 H1-H3)、三段公式、四要素、镜头拆分、坑表以 doc1 判分;doc1 案例里的分段记号不直接升格为格式判据。

(b)分镜脚本层采用 ② [N 秒-M 秒] 窗式。 判据理由:v5 链路(§六.2)里的「分镜脚本」是一份 给人与给下游看的、按时长切分的分段文档,它的核心义务是「窗口边界可核对」——②是官方四种 形态里唯一一个窗口边界显式成对出现、可逐窗相加核验总时长的形态(③行式把时间揉进散文、 ④的正向/反向两栏把边界塞进叙述);且 doc1:97 是官方把该形态文本直接放在「提示词」列的一手案例, 与 v4 习语乙(R|s13 co-op 模板)逐字同型。采纳 ② 保持与 v4 习语乙连续,不推翻任何 v4 判定。

(c)最终 H3 Prompt 层:当且仅当交付形态是 doc2 结构化(六段 / 三主体字段 / instruction)时, 收敛到 ①。 判据理由:doc2 是唯一规范层文本,① 是它给出的唯一分段记号;At MM:SS.mmm + 连续 [Shot N] 编号 + 第一镜无时间戳是 doc2 明文条款(:107/:111/:455),可机械判分。② 不因此 降级为非法——doc1:97 官方一手把窗式文本放在「提示词」列,② 依然是 A 级合法最终 Prompt 形态; 但它的判分落点在 D2 习语乙子表,不吃 ① 的硬约束条款(H4/H5)。

(d)链路交付的映射纪律(v5 新增,B 级内部规范):当一次交付包含「分镜脚本(②)」与 「最终 H3 Prompt(①)」两件时,两件必须通过窗号 ↔ 镜号一一对应衔接(脚本第 N 窗 = Prompt 的 [Shot N] 或 [Shot N]/[Shot N+1] 跨窗),且只允许存在一套时间轴——脚本层写 [N 秒-M 秒]、 Prompt 层写 At MM:SS.mmm,两件不得各自再发明一套编号或时长。理由:官方 4–15s 单次上限 (doc1:35)决定了链路里两件交付描述的是同一段视频,双时间轴必然产生矛盾;映射纪律是从 doc2:111「连续编号」+ doc1:202-216「镜头怎么拆」收口的工程规范。

(e)③④登记为 A 级合法变体,不作为 v5 考察形态。 理由:③是教学级简写(无机位/UI 三要素 结构,无法承载 §六 D2 习语乙子表的判分项);④的正向/反向两栏与 doc1:200「想要/不想要」同构, 其内容结构可作为 ②/① 交付中负向信息的来源,但其全角波浪窗记号不作为判分形态。v5 场景集 不构造要求 ③/④ 的题目,交付中出现 ③/④ 也不因此判违规(A 级先例在案)——只判其内容是否满足 所申报形态的三要素义务。

(f)硬互斥(v5 新增 A 级反证判据,见 §五 H5b):①型交付内出现 [N 秒-M 秒] 窗式、或 ②型 交付内出现 At MM:SS.mmm 时间戳,均为记号混用违规。理由:两种记号在官方语料中互斥分布 (doc1 0 处 ①、doc2 0 处 ②),混用意味着把两种不可互换的时间语义(窗口边界 vs 切镜时刻)叠在 同一份交付里,下游无法机械解析。

(g)逐形态判分落点总表

交付形态 分段记号判分依据 语言规则 适用的官方硬约束
① 型(doc2 结构化) doc2:107/:111/:114(D2 习语甲档 + D9) 正文英文(doc2:242) H4/H5/H6/H9/H10 + 全部 H
② 型(分镜脚本 / 窗式 Prompt) doc1:97 窗标题(D2 习语乙子表 + D9) 跟随用户输入(doc1:97 中文案例 + doc1:35 多语言) H1/H2/H3/H8 + 跨形态不变量 H11/H12
③/④(登记不考察) 内容按所申报形态判,记号不判 同上 同上

二、裁决 C-2:正文语言规则按交付形态划界

knowhow_v5 §4 C-2 列出双方 A 级证据。v4 C4 已拍板习语分轨;本轮证据把「官方 SKILL.md:33(英文) vs handdrawn:13(跟随用户)」升级为「doc2:242(英文)vs doc1:97/doc1:35(中文案例 / 多语言)」, 两条都成了 A 级一手,且不再依赖镜像信源。

裁决:按交付形态划界,不按「哪份文档」划界。 理由:doc1 自己的案例就是中文散文、同时又写 「支持多语言提示词输入与输出」(doc1:35),所以「官方文档 = 英文」这条界不成立;doc2 的英文条款 (:242)明文限定在「扩写的六个段落正文」这个形态上。按形态划界是唯一能让两条 A 级条款同时 成立的切法。

交付形态 正文语言判据 级别 出处
① 型 doc2 结构化(六段 / 三主体字段 / instruction) 正文英文;<d> 内台词/歌词、画面实际可见文字保留原始语言 A(硬) doc2:242「扩写的六个段落正文统一使用英文;只有 <d> 中的台词、歌词以及画面中实际可见的文字保留原始语言。」
② 型窗式交付(分镜脚本 / 窗式 Prompt) 跟随用户输入主导语言(中文输入 → 中文正文) A(硬) doc1:97 官方案例正文全中文 + doc1:35「支持多语言提示词输入与输出」;R 佐证:v4 handdrawn SKILL.md:13
分镜设计(链路第 2 层,给人类的内部档) 语言自由 B(内部规范) 官方无「内部设计档语言」条款;从 doc1:220-222(给用户看的三类模式写法)收口
台词 / 歌词(跨两形态) 原词、原语言、原标点不改写;无法辨认写 [unclear] A(硬,跨形态不变量) doc2:137 / :575
画面实际可见文字(跨两形态) 英文双引号包围,原文与标点逐字保留,不翻译 A(硬,跨形态不变量) doc2:154(含 :157 中文招牌 "营业中" 示例)
字段名写法 「非叙事性音乐:N/A」与 "non_diegetic_music": N/A 两种写法都合法,互不判违规 A doc1:200 同段并列给出两种
UI 字符串「中文 (ENGLISH)」中英并列 维持 v4 #39:C 级构造(出处 = master 输入形态),输入自带则沿用、输入只给英文则英文单语,两种互不判违规 C v4 #39;官方一手侧 co-op:63-68 英文单语 + doc2:154 不翻译,无中英并列先例

判分落点:把「正文必须英文」套到 ② 型交付上判违规 = 判据越界违规(与 v4 C5 的「出处纪律 违规」同一性质);把「跟随用户语言」套到 ① 型交付上判违规 = 同罪。两种越界都记入评分记录的 出处纪律项,并在自查清单第 22 条延伸适用。


三、裁决 C-7:环绕运镜

  • doc2:123 运镜词汇表含 Arc Shot(围绕主体弧形移动);doc1:200 同时建议环绕运镜 「用 truck left+pan right 或者 truck right+pan left,而非直接说环绕运镜」。
  • 裁决:默认用组合写法(doc1:200 是指导层条款,直接约束「怎么写」);Arc Shot 保留在 合法词汇表内,交付中出现不判违规(doc2:123 是词汇层条款,定义「可用词」)。反向均违规: 把组合写法说成官方强制、或把 Arc Shot 从合法词表删除,都是出处纪律违规。
  • 判分落点:D6 运镜维度——交付用 Arc Shot 描述环绕 → 不扣分;交付自创「环绕运镜」中文词 进入 ① 型英文正文 → D9 词法纪律档 2;交付写成「环绕运镜(orbit around)」且未落到任何官方 词汇 → D6 档 3。

四、C-3 / C-4 / C-5 / C-6 / C-8 处置(沿用 Hunt 登记,官方赢 / 相容)

冲突项 v5 处置
C-3 retention_analysis 语义 官方赢(doc2:394 逐项保留/迁移/复制/参考关系)。社区「观众记忆点」语义不得吸收;链路 SD 层若需要记忆点概念另立字段名,不占用 retention_analysis
C-4 summary 缺任务类型标记 官方赢(doc2:360 方括号 + :371-376 六类型 + :378 加号组合格式)。链路 SS 层产出六段交付时必须补 [...] 标记
C-5 社区模板习语 维持 B 级登记不采信(<Subject N> 零命中,sources_v5 negative_findings 第 6 条本轮独立复核一致)
C-6 时长下限 官方 4s 为准(doc1:35);社区 5s 属实现选择。链路 SD 层段长判据按官方 4–15s
C-8 已升 A 级的 v4 条款 见 §八 8.2 升级登记表(10 条 v4 R 级 → v5 A 级一手行号)

五、官方硬约束判据(v5 新增 A 级,H1-H16)

v4 从未有过一手出处、本轮从 cache_v5 逐条落 A 级的硬约束。每条给:判据描述 / 出处 / 判据理由 / 判分落点。H 系列对 ① 型交付全部适用;对 ② 型交付只适用标了「跨形态」的条目(见 §一 1.2(g))。

H1 提示词总长 ≤ 7000 字符 【A|跨形态】

  • 出处:doc1:35 表格行「提示词字数上限|不超过7000字符」。
  • 理由:这是官方模型入口约束,超限的交付物根本无法被 H3 接受,属硬边界而非风格偏好;v4 完全 没有这条,SKILL 篇幅膨胀(89KB)正是它的现实风险面。
  • 判分落点:D9 机械校验(超限 = 档 2);链路模式在 HP 层复检。计量口径:最终 H3 Prompt 交付件 的字符数(含标点与空白),B 级内部规范——官方未定义计数口径,我方取「Python len() 语义的 字符数」并在评分记录里写明口径。

H2 输出时长 4–15 秒 【A|跨形态】

  • 出处:doc1:35「输出时长|4-15秒」。升级登记:v4 #35 只能引 README.md:73(GitHub 镜像),本轮 升 A 级一手;v4 的 README.md:73 与官方三脚本佐证降为 R 级同型佐证。
  • 理由:官方参数层硬边界;v4 已把「超限不得静默」落成条款,本轮只换出处等级,条款不变(C6.3 沿用)。
  • 判分落点:D9(正文出现 >15s 或

H3 输出帧率 24 FPS 【A|参数层】

  • 出处:doc1:35「输出帧率|24 FPS」。
  • 理由:官方参数层事实,但不是提示词正文的写作义务——官方全部案例正文均未写帧率。判据收窄为 「若提及则不得写错 + 需求指定非 24 帧时不得静默照写」,否则会把参数层事实误写成正文判据。
  • 判分落点:D9(写错帧率 = 档 2);需求要求 30/60 帧时正确行为是显式说明该参数不在提示词层控制 (B 级内部规范,相邻条款 doc1:35);不写帧率不扣分(A 级行为先例:doc1 两案例正文零处帧率)。

H4 instruction 第一行 + 空行 【A|仅 ① 型 I2VA/FL2VA/L2VA】

  • 出处:doc2:57「instruction 必须位于最终 Prompt 的第一行,后面空一行再写主体字段。」
  • 理由:doc2 明文格式条款,可机械判分;v4 只能从五模式推演落位,本轮升 A 级硬判据。
  • 判分落点:D2 习语甲档(instruction 位置错 = 档 2)+ D9(缺空行 = 档 2);T2VA 无 instruction, 不适用(A:doc2:37)。

H5 At MM:SS.mmm 递增切镜时间 + 第一镜不写时间戳 【A|仅 ① 型】

  • 出处:doc2:107「第一镜不写时间戳。」;doc2:111「后续镜头使用连续编号,并在开头写递增且位于视频 时长范围内的切镜时间」;doc2:114 / :455 给出官方具体格式 [Shot 2] At 00:03.500, ...。
  • 理由:v4 #32「无重叠」只能从 base-en:86 的 strictly increasing 收口;本轮拿到格式 + 纪律的 一手逐字条款,升级为独立判据。
  • 判分落点:D9 机械校验(第一镜带时间戳 / 毫秒位数 ≠ 3 位 / 非递增 / 超出视频时长 = 档 2)+ D6。
  • H5b(硬互斥):① 型交付内零处 [N 秒-M 秒](A 反证:doc2 全文 0 处);② 型交付内零处 At MM:SS.mmm(A 反证:doc1 全文 0 处)。判分落点 D9 档 2 + D1 档 2(判别样本 TS-31/TS-32)。

H6 生成类 detailed_description 350–500 英文词 【A|仅 ① 型】

  • 出处:doc2:543 + 三条例外逐字(台词密集型以容纳台词时间线为先、视频编辑类按源视频复杂度展开、 单镜头并不自动缩短篇幅)。
  • 理由:官方明文给出区间 + 三条豁免;判据必须连豁免一起落,否则会把官方明确允许的台词密集 交付判成超篇幅。只约束 detailed_description 一段,不约束整份交付(doc2:543 主语是它)。
  • 判分落点:D2(区间外且不落在任一豁免 = 档 3;无豁免依据的机械补字数 = 档 3)。

H7 [unclear] 不猜测改写 + 标点规范化 【A|跨形态(台词)】

  • 出处:doc2:575「无法辨认的部分写作 [unclear],不猜测或改写。标点统一使用…基础书面标点,如 ,、.、? 和 !;删除重复波浪号、emoji、项目符号以及重复或装饰性标点。完整的陈述句、疑问句 和感叹句分别在 </d> 前以 .、? 或 ! 结束。」
  • 理由:这是音频复用场景下的保真底线:猜测改写 = 编造输入事实,直接落 D8。v4 只有 C2 口径 R 的内部收口,本轮升 A 级。
  • 判分落点:D5(猜测改写 = 档 1,硬错误下限 75 触发)+ D8(编造 = 档 1);判别样本 TS-41。

H8 画面文字乱码 → 转参考图条款 【A|跨形态】

  • 出处:doc1:71 官方小Tips 逐字。
  • 理由:这是 v1–v5 从未入库的官方分支行为条款——复杂/易乱码文字的正确处理路径是「以图片形式 提供作参考图 + 在提示词中明确『按图片理解、不按文字处理』」,不是硬着头皮写文字描述。
  • 判分落点:D4(复杂文字仍写成纯文字描述且输入明确提示易乱码 = 档 2)+ D7(未声明参考图用途); 判别样本 TS-39。

H9 关系标记是格式中的固定英文取值(8 个,非 6 个)【A|仅全能参考六段交付】

  • 出处:doc2:398「<Subject N>、<Picture N> 和 <Video N> 使用以下关系标记。这些标记是格式中的 固定英文取值」+ :400-405 可见内容 4 个(fully_preserved / partially_preserved / attribute_transfer / weak_reference)+ :427-434 音频 4 个(fully_copy / partially_copy / reference / weak_reference)。
  • 更正登记:任务书与 knowhow_v5 §6.3 写「六关系标记」,官方一手语料实为 4 + 4 = 8 个。本轮 按原文落 8 个,并在 revision_notes §二.4 登记。
  • 理由:官方称「固定英文取值」,即白名单枚举——自创中文或变体取值 = 词法违规,可机械判分。
  • 判分落点:D9(任一非白名单取值 = 档 2)+ D2;判别样本 TS-40。
  • 配套(同为 A 级):retention_analysis 逐标签一行并沿用 subject_definitions 含义(doc2:394)、 不写 (Sx)(doc2:579)、边界不把新加入内容误写成参考损失(doc2:444)。

H10 overall_soundscape 1–4 句 / non_diegetic_music 1–3 句 【A|仅 ① 型六段/三字段】

  • 出处:doc2:162「使用 1–4 句英文,在一个连续段落中概括贯穿整段视频的环境声…」;doc2:170 「使用 1–3 句英文描述角色听不到、只有观众能听到的背景配乐」。
  • 出处补全登记:knowhow_v5 §6.3 列了这两条但未带行号,本轮在 doc2:162/:170 找到逐字出处, 升 A 级(v4 无出处)。
  • 理由:官方明文句数区间 + 「存在配乐时说明乐器、速度和动态变化」(doc2:597)+ N/A 精确条件 (doc2:594 区「没有环境声时写 N/A」)——三件事都可机械判分。
  • 判分落点:D3(句数区间外 = 档 3;N/A 条件不精确 = 档 3,沿用 v2 口径)。

H11 台词长短与 shot 长短对齐 【A|跨形态】

  • 出处:doc1:206「台词的长短和画面变化内容需要合乎每个 shot 的长短逻辑,尽量不要出现一个 3s shot 说很大一段话的情况」+ 官方原注「很多口型问题会来自于这个」。
  • 理由:官方把这条标成生成质量的一手根因(口型问题),且给了可机械核对的判法(台词字数/句数 与该 shot 秒数明显失衡)。
  • 判分落点:链路模式 SD4 + D6 档 2;单件模式 D6 档 2。

H12 跨镜台词 / 画外音 / 结尾截断记号 【A|仅 ① 型】

  • 出处:doc2:150(<scenetrans> / <cutoff> + 四个连续性表达)、doc2:459(连续跨两次切镜时中间 镜 <d> 以 <scenetrans> 开头且结尾)、doc2:144/:147(画外音 says in an off-screen voiceover
    • 唇部保持闭合)、doc2:135(稳定编号 (Sx) + 组合编号 + 无声者不分配编号)。
  • 理由:v4 把这套记号标为「v4 内部推演」;本轮全部拿到 A 级一手逐字,升级登记见 §八 8.2。
  • 判分落点:D5 习语甲口径不变;新增 A 级锚点行号。

H13 全能参考素材数量硬上限 【A|参数层】

  • 出处:doc1:35「图片 ≤9 张;视频 ≤3 段(单段 [2,15]s,总时长 ≤15s);音频 ≤3 段且必须配图片或 视频、不能单独输入;混合输入的总上限是 12 个文件」。
  • 理由:入口硬约束;v3 #21 只有 12 文件上限(R 级镜像),本轮补齐四项 + 音频不可单独输入。
  • 判分落点:D7(场景要求音频单独输入且无图/视频 → 正确行为是阻塞或说明,静默产出 = 档 2 + D8);判别样本 TS-42。音频不可单独输入是官方唯一一条「素材组合合法性」条款,故单列为硬判据。

H14 标签一经分配沿用同一含义 【A|仅六段交付】

  • 出处:doc2:272「某个引用标签一旦分配给一项内容,在 subject_definitions、summary、 retention_analysis、detailed_description 和声音段落中始终沿用同一含义。」
  • 理由:五处一致是六段交付的可解析性底线;v4 C1 已有同向条款,本轮升 A 级一手。
  • 判分落点:D1 档 3(同一标签两处含义漂移)。

H15 <Video N> / <Audio N> 独立编号、不表配对 【A|仅六段交付】

  • 出处:doc2:347「各自独立编号,序号只表示它们在所属标签类别中的顺序,不表示二者之间的配对关系。 因此同一份参考视频可以同时对应 <Video 1> 和 <Audio 2>」+ :349「普通参考视频不会仅因文件带有 声音而自动产生 <Audio N>」。
  • 理由:v4 内部推演项;本轮升 A 级,且给出可判分的反例判法(把音视频序号配对 = 违规)。
  • 判分落点:D1 档 2(把 <Video 1> 与 <Audio 1> 写成配对绑定)。

H16 分镜参考图映射到镜头而非秒数 【A|跨形态】

  • 出处:doc2:310「<Picture 3> is a storyboard reference for [Shot 1] and [Shot 2], defining their viewpoint, subject placement, and shot order.」+ doc2:553 三种帧锚点自然表达 + doc1:200 用途词 「故事版(根据故事版分镜生成镜头内容)」。
  • 理由:v4 线上真实调用 conv-mtclmne2 漏认领 Picture 3 的一手根因条款(memory: h3-live-prod-call-picture3-miss)。v4 只能引 R|s03 ref-en.txt:73,本轮升 A 级一手。
  • 判分落点:D1(分镜参考图未被任何镜头认领 = 档 2;写成对齐到秒 = 档 2,沿用 v4 #29)+ 链路模式 SS3;判别样本 = 重建后的 TS-26 预案落位项 + TS-29 SS3。

六、维度设计

6.1 prompt 轨:九维度与权重不变(20 + 10×8 = 100),新增两种计分模式

维度 名称 权重 v5 变化
D1 官方输入模式覆盖度(核心锚点) 20 增补 H14/H15/H16 三条 A 级锚点 + ①/② 形态判定(C-1)
D2 结构化字段完整性 10 增补 H4/H6 落点;习语乙子表窗标题出处换 doc1:97(A 级一手)
D3 声音设计完整性 10 增补 H10 句数区间与 N/A 精确条件(A:doc2:162/:170)
D4 具体性 vs 空洞质量词 10 增补 H8 乱码转图分支落点 + doc1:200「多写看得见的画面 / 少写比喻」
D5 对白逐字保真与 <d> 格式 10 增补 H7 [unclear] A 级锚点 + H12 记号一手行号
D6 运镜与镜头语言一致性 10 增补 H11 台词-镜头对齐 + C-7 环绕运镜裁决
D7 素材可用性预检与阻塞报告 10 增补 H13 素材组合合法性 + H16 认领义务
D8 意图忠实与扩写边界 10 增补 H7 猜测改写 = 编造 + H2 超限静默
D9 输出前机械校验 10 增补 H1/H3/H4/H5/H5b/H9 六项机械校验(v4 三项 → v5 九项)

v5 不新增第 10 维:本轮全部新判据都能落在既有维度内(硬约束 → D9 机械校验、形态判定 → D1、 内容义务 → D2-D7),与 v3/v4 拒绝加维的同一理由成立(再切新维度会稀释仅少量真实先例的行为类 维度的权重可解释性)。判据从 v4 的 46 条增至 v5 的 62 条,维度数与权重不动。

6.2 prompt 轨链路模式(v5 新增,落任务书第 6 项)

场景元字段 expected_chain 声明本次需求是否要求多件交付。链路场景的 prompt 轨成绩不再用 九维度,改用四层实体判分表;两层(单件交付)场景沿用九维度。这不是第四轨——它是 prompt 轨 内部的计分模式,三轨禁合并纪律不变(§七)。

算式:LU 15 + SD 20 + SS 30 + HP 35 = 100。

层 名称 分值 检查项与判据
LU 需求理解 15 LU1 模式与形态判定(5):从 raw_brief 判定 T2VA/I2VA/FL2VA/L2VA/全能参考(A:doc2:28-57)+ 交付形态 ①/②(C-1)+ 素材组合是否合法(H13)。判错 = 本项 0。LU2 输入事实锁定(5):raw_brief 与 note 原文中的硬事实(时长、UI 文案集合、素材职责、必须替换类 note)被逐字锁定复述;改写程度词(「必须换」→「建议优化」)= 0。LU3 零臆造(5):不编造 raw_brief 未给的主体/UI 文案/台词;出现 = 0
SD 分镜设计 20 SD1 段长合规与拆分(5):每段时长落在 4–15s(A:doc1:35);需求超 15s 时给拆分方案而非静默产出(v4 C6.3 沿用)。SD2 衔接锚点(5):相邻段/相邻镜之间显式给出至少一个衔接锚点(同一动作方向/视线目标/光/道具/轮廓/声音/受力任一);「无理由跳切」= 0(B 级:github/TFboy1 storyboard-schema:7-11,官方相邻条款为 doc1:216 切镜写清景别与主体 + doc1:231 禁无理由分镜)。SD3 镜头卡字段齐(5):每镜给出镜号/时长/景别/运镜/内容/声音/转场(B 级同源:chiphoton 单镜 10 项登记 + TFboy1 7 列镜头卡;官方相邻条款为 doc1:200「想要」栏的 景别+内容+运镜+动作+台词+音效)。SD4 台词-镜头对齐(5):H11(A:doc1:206)——台词字数/句数与该镜秒数明显失衡 = 0
SS 分镜脚本 30 SS1 窗式结构与边界(8):② [N 秒-M 秒] 窗标题覆盖 0 → 总时长、相邻窗相接(A:doc1:97 六窗 + v4 C5 分级表逐行判);窗内零处 At MM:SS.mmm(H5b)。SS2 每窗三要素(6):每窗含 机位/运镜 + 主体动作 + UI/覆盖元素(A 同型:doc1:97 各窗首行 景别 字段 + UI 枚举)+ 声音落点(v4 D2 习语乙子表沿用,出处换 doc1:97)。SS3 素材认领(8):分镜参考图按 doc2:310 映射到镜头并写明提供的规划信息;每条素材至少被一个窗认领(幽灵禁令);零秒级对齐(v4 #29 沿用)。SS4 台词/声音落窗(8):台词逐字落在对应窗内(v4 D5 习语乙子表)、画外发声语义等价标记 + 唇部闭合(doc2:144 语义要求跨形态适用)、静默窗也写声音(B:TFboy1「声音列必填」+ doc1:200「音效」栏)
HP H3 Prompt 35 HP1 形态判定与一致性(7):最终 Prompt 形态按 C-1 判定正确;与 SS 层构成窗号 ↔ 镜号一一对应(1(d) 映射纪律),零双时间轴。HP2 结构化硬约束(12):适用的 H1/H2/H4/H5/H6/H10 全过(每违反一项扣 3,本项扣完为止)。HP3 台词与说话人(8):(Sx) 稳定编号、<d> 逐字保真、画外音 + 唇部闭合、<scenetrans>/<cutoff>(H12,A:doc2:135/:144/:150)。HP4 段落与标签体系(8):三主体字段顺序或六段顺序正确(A:doc2:62-66 / :250);标签一经分配五处同义(H14);<Video N>/<Audio N> 独立编号(H15);关系标记白名单(H9)

链路模式下的封顶与硬错误下限沿用 v4 §4.2(D1 封顶不适用——链路模式没有 D1;LU3=0 或 HP3 命中档 1 核心违规 → 总分上限 75;必需素材不可用仍静默引用 → 上限 70)。

6.3 block 轨(B1-B5 分值不变:25 + 25 + 20 + 15 + 15 = 100)

v4 C3 全文有效。v5 增补两点:

  1. B1 的理由必须有输入侧据:阻塞报告点名的理由必须能逐字回查到 raw_brief / note 原文 (这是 TS-26 修复的直接落点,见 §十 0.3)。理由在输入侧无据 = B1 记 0(该阻塞无据,属过度阻塞 家族)。
  2. 过度阻塞反向判据:素材可用、或 note 为建议性、或菜单内存在 note 指定的替代版本时,正确 行为是继续产出;此时报阻塞 = 轨别按实际产出形态改判 prompt 轨,且 LU3/CL2 同源违规并行扣分 (判别样本 TS-33)。

6.4 clarify 轨(CL1-CL5 分值不变:30 + 25 + 15 + 15 + 15 = 100)

v4 C8 全文有效。v5 增补两条区分度判据(针对 v4 两轨 100×7 零区分度):

  1. 过度反问反向判据(CL1 收紧):raw_brief 已给全部关键信息、仅余不改变主体事实的低风险参数 (如有无 BGM / 节奏快慢)时,正确行为是直接产出 + 显式标注推定;此时发问清单 → CL1 ≤ 20 (v4 已有「把不改变结果的可推断项也拿去问 → ≤20」条款,本轮用 TS-35 让它真的会触发)。
  2. 该问不问正向判据(CL2 收紧):核心主体或必需 UI 文案完全缺失时,编造主体续跑 = CL2 = 0 且改判 prompt 轨并行扣 D8(判别样本 TS-36)。

七、总分计算方法与三轨纪律

prompt 轨(单件模式)= Σ(维度得分/5 × 权重)          满分 100,权重 20 + 10×8
prompt 轨(链路模式)= LU + SD + SS + HP             满分 100,算式 15 + 20 + 30 + 35
block   轨        = B1-B5 之和                        满分 100,算式 25 + 25 + 20 + 15 + 15
clarify 轨        = CL1-CL5 之和                      满分 100,算式 30 + 25 + 15 + 15 + 15
N/A 处理:仅 prompt 轨单件模式可记 N/A(行为不可能发生时);链路模式不记 N/A;
          block / clarify 轨不记 N/A(v4 C3/C8 纪律不变)。
封顶(链路模式):LU3=0 → 上限 75;HP3 命中档 1 → 上限 75;必需素材静默引用 → 上限 70。
封顶(单件模式):沿用 v4 三道(D1→40/60、D5 硬错误 75、D7 静默引用 70)。
轨别判定:沿用 v4 C8a——轨别跟随实际产出形态,改判须在评分记录注明原因。

部署达标条件(三轨,禁合并):
  prompt 轨均值 ≥ 90
  且 block 轨每一个场景 ≥ 85
  且 clarify 轨每一个场景 ≥ 85
  且 全部场景零静默引用、零臆造
汇报口径:三轨数字分开呈现,禁止任何形式的跨轨合并平均(安全/保守行为的正确选择不得被
  均值稀释——C3/C8 的既有裁决,v5 重申)。

可比性声明:v5 链路模式的分数与 v4 prompt 轨(九维度)不可直接比——量尺构成不同(四层 实体判分 vs 九维度加权)。链路场景在 v4 无对应样本(v4 场景集全部单件交付),因此 v4 prompt 轨 均值与 v5 prompt 轨均值的可比范围仅限单件模式场景;汇报时须分列。


八、判据出处对照总表

8.1 v4 已登记 #1-#46(全部沿用,等级不变者不重列)

v4 的 46 条判据本轮零条被推翻。其中需要换出处或换级的逐条列在 8.2 / 8.3;其余沿用 v4 §五 原文行号(R 级镜像出处继续可用作同型佐证,但凡 v5 已拿到 A 级一手行号的条目,判分以 A 级为准)。

8.2 升级登记表(R / 推演 → A 级一手,共 12 条)

v4 条款 v4 出处(R/推演) v5 A 级出处(本轮逐字复核)
输出时长 4–15 秒(#35) README.md:73 doc1:35「输出时长|4-15秒」
第一镜不写时间戳 + 递增切镜时间(#32) base-en.txt:86 doc2:107 / :111(格式见 :114/:455)
运镜三维度 base-en.txt:94-96 doc2:121
运镜词汇表 base-en.txt doc2:123
画面文字双引号逐字保留 base-en.txt:146 doc2:154(:157 中文招牌示例)
分镜参考图映射到镜头(#30) ref-en.txt:70-73 doc2:310 + doc2:553 + doc1:200 用途词「故事版」
说话人稳定编号 + 组合编号 + 无声者不编号 v4 内部推演 doc2:135
画外音 + 唇部闭合绑定 s02 相邻条款推演 doc2:144 / :147
<scenetrans> / <cutoff> v4 内部推演 doc2:150 / :459
习语乙正文语言跟随用户(#23) handdrawn SKILL.md:13 doc1:97(官方中文案例)+ doc1:35(多语言);handdrawn:13 降为 R 佐证
时间窗标题 [N 秒-M 秒] 是官方交付形态(#22) co-op template:48-121 doc1:97(官方「提示词」列一手案例)
幽灵素材禁令 / 素材必须被认领 v3 #7(C 级) doc2:272(五处同义)+ doc2:310(分镜图映射镜头) → 内容义务升 A;「禁令」表述仍为 C 级收口

8.3 v5 新增判据(#47-#62,逐条带级与理由)

# 判据 级 出处 判据理由(一句话)
47 提示词 ≤ 7000 字符(H1) A doc1:35 入口硬边界,超限即不可用
48 时长 4–15 秒一手化(H2) A doc1:35 官方参数层边界,v4 只能引镜像
49 24 FPS:提及则不得写错、不强制写入正文(H3) A(参数层) doc1:35 官方案例正文零处帧率,不能把参数层事实写成写作义务
50 instruction 第一行 + 空行(H4) A doc2:57 doc2 明文格式条款,可机械判分
51 At MM:SS.mmm 递增 + 第一镜无时间戳(H5) A doc2:107/:111/:114/:455 格式 + 纪律一手条款,取代 v4 相邻条款收口
52 ①/② 记号硬互斥(H5b) A(反证) doc2 全文 0 处窗式;doc1 全文 0 处 At MM:SS.mmm(本轮 grep 复算) 官方语料互斥分布,混用即双时间语义叠加
53 350–500 英文词 + 三条例外(H6) A doc2:543 官方区间 + 豁免,须连豁免一起落
54 [unclear] 不猜测改写 + 标点规范化(H7) A doc2:575 保真底线,猜测 = 编造输入事实
55 乱码转参考图 + 按图理解声明(H8) A doc1:71 官方分支行为条款,v1-v5 首次入库
56 关系标记固定英文取值 8 个(H9) A doc2:398/:400-405/:427-434 官方称「固定取值」即白名单,可机械判分
57 soundscape 1–4 句 / music 1–3 句(H10) A doc2:162/:170 本轮补全行号后升 A;句数可机械判分
58 台词长短与 shot 对齐(H11) A doc1:206 官方标注的口型问题一手根因
59 全能参考素材数量 + 音频不可单独输入(H13) A doc1:35 官方唯一一条素材组合合法性条款
60 标签五处同义(H14) A doc2:272 六段交付可解析性底线
61 Video/Audio 独立编号不配对(H15) A doc2:347/:349 官方明文给出反例判法
62 链路四层实体判分 LU/SD/SS/HP(§6.2) C(构造性设计,0 真实先例) 本基准裁决;官方锚点:doc1:195 三段公式、doc1:202-216 镜头怎么拆、doc2:310 任务书第 6 项要求;四层切分是工程收口,官方无「分几层交付」条款,如实标 C

分镜设计 SD 层引用的 B 级素材:chiphoton 单镜 10 项登记(production-workflow.md:26-36)、 TFboy1 7 类衔接锚点(storyboard-schema.md:7-11)与 7 列镜头卡(:164-190)。这三种是社区一手 实践,不是官方条款——判据已用「官方相邻条款」二次锚定(doc1:200「想要」栏字段集、doc1:216), 出现官方与社区冲突时以官方为准(C-3/C-4/C-5 同一纪律)。

8.4 负向主张独立复算记录(本轮,零网络)

负向主张 复算方法 结果
doc1 全文无 [Shot N] / At MM:SS.mmm / <Subject N> / <d> python 正则 \[Shot \d+\]、At \d{2}:\d{2}\.\d{3}、<Subject \d+>、<d> 全部 0 ✓(支撑 H5b ②侧 + C-1 分层)
doc2 全文无 [N 秒-M 秒] 窗式、无 N-M 秒 python 正则 \[\d+\s*秒\s*[-–~〜]\s*\d+(\.\d+)?\s*秒\]、\d+\s*[-–~〜]\s*\d+\s*秒 全部 0 ✓(支撑 H5b ①侧)
doc1 内分段记号有 4 种变体 正则 Shot \d+ + 【…】 ✓ Shot 1—6(doc1:237 MV 案例)、【镜头 N】(doc1:231)+ ②③④
doc2 关系标记计数 通读 :400-405 / :427-434 ✓ 可见 4 + 音频 4 = 8(非 6,登记更正)
doc2 声音段句数出处 逐行抽取 :160 / :170 ✓ 1–4 句 / 1–3 句(补全 knowhow 缺的行号)
doc2 无独立负向约束段 sources_v5 negative_findings 第 4 条 ✓ 本轮通读一致:负向信息落在 doc1:200「不想要」栏与 :162/:170 的 N/A

九、行业基准纪律(诚实标注,不编造行业数字)

延续 v3/v4 §六的判断:h3-video-prompt 是针对单一官方模型的写作方法论技能,不存在可抓取的第三方 行业平均分。v5 起有一个实质变化:飞书官方一手语料已全文入库(v4 登记的「飞书标杆文档登录墙 未解」在本轮被 Hunter 打通,revision_id 1297 / 252 已登记),因此 industry_avg_score 的证据基础 从「零官方文本」升级为「两篇官方一手全文 + 4 个社区一手仓」,但它依然是构造性量尺,不是行业 统计量。本轮给三轨分别设基准(算式可复算,非编造数字):

项 取值 算式 / 来源
industry_avg_score(prompt 轨单件模式) 82.0 以 v3-v4 四轮真实产出为样本(evolve_report_v3/v4 已回填的判据实测区间 96-100 与已知失败样本 55-75 的中位加权),样本量 18 场景;标注:构造性基线,样本来自本技能自身历史轮次,不是外部行业数据
industry_avg_score(prompt 轨链路模式) 未测量 链路场景 0 真实先例(判据 #62 标 C),本轮不给数字,不拿单件模式分数背书
industry_avg_score(block / clarify 轨) 85.0(下限口径) 部署达标线(C3/C8 既定);两轨已有真实产出 2 条(TS-09=100、TS-12=98),样本量不足以给均值
数据质量评分 0.765 算式(权重 0.7/0.2/0.1,口径见 revision_notes §三.2):0.7 × A级判据占比 + 0.2 × 官方一手覆盖率 + 0.1 × 引句逐字可回查率。A 级占比 = 28/41(带等级判据 = v4 #22-#46 的 A13/B7/C5 + v5 #47-#62 的 A15/C1,共 41 条;v3 #1-#21 与 v4 #1-#21 未在本文件重列等级,不计入分母,避免拍脑袋)= 0.6829;官方一手覆盖率 = 2/2 = 1.0;引句可回查率 = 71/82 = 0.8659(Hunter 侧口径,sources_v5 quote_text_policy 审计值,登记为我方输入)→ 0.4780 + 0.2000 + 0.0866 = 0.7646 ≈ 0.765
样本量统计 场景 43(v4 28 沿用 + v5 新增 15);信源 4 + 25 条 v4 复用;引句 82 条 test_scenarios_v5.json coverage_summary

诚实登记(两版数字都留痕):起草时首版算出 0.86,复核时发现两处口径错——①A 级占比的 分母取了「62 条判据总数」,但其中 v3 #1-#21 / v4 #1-#21 在本文件没有逐条重列等级,把它们 计入分母就是给没核过的数当分母;②首版把引句可回查率当成了我方判据质量,实际是 Hunter 侧 quote_text_policy 的审计口径,只能作为输入登记。修正后正式采用 0.765,算式与分母定义 全部写在上表。这就是「不验证不提交」该拦下来的那种错:不拦就会把首次拍脑袋的数字当交付。


十、场景覆盖矩阵(v5 验收自查)

场景集:test_scenarios_v5.json,43 条(TS-01~28 沿用 v4 骨架 + TS-29~43 新增 15 条); 轨别:prompt 33(其中链路模式 2:TS-29 / TS-43)/ block 5 / clarify 5。TS-33 与 TS-35 虽考察 block/clarify 行为,但正确响应是产出,故声明 prompt 轨——对抗策略在它们身上触发的正是 v4 C8a 的轨别改判(§十一)。

0.3' TS-26 场景构造修复(任务书第 5 项,v5 场景集级纪律)

v4 缺口根因:TS-26 的阻塞理由只登记在 asset_menu[1].note,而 agent 实际收到的输入面是 raw_brief——输入侧没有声明「note 字段会被送达」,导致「复述输入 note」与「编造阻塞理由」两种 行为无法区分,阻塞理由实质上登记在评分方手里而不是被评方手里。

v5 修复(三件,全场景适用):

  1. 新增场景元字段 input_delivered_fields:显式声明该场景 agent 能看到哪些字段 (["raw_brief","asset_menu"] 或 ["raw_brief"])。评分时只对声明送达的字段计「输入侧有据」。
  2. 所有 block / clarify 场景的必要 note 原文整句写进 raw_brief:note 的程度词(「必须」「只能」 「没有也行」)逐字保留,不改写。这样阻塞理由在输入侧有据成为可机械核对的事实。
  3. 新增判分点:阻塞理由必须逐字复述输入侧 note 原文(含程度词),改写程度词 = LU2 = 0 / B1 = 0(判别样本 TS-34)。

10.1 覆盖表

要求覆盖项 场景 出处标注
链路正向主场景(需求理解→分镜设计→分镜脚本→H3 Prompt) TS-29(带 UI 文案)、TS-43(多说话人 + 画外音 + 跨镜台词) LU/SD/SS/HP 四层;C-1 裁决 ②+①
链路形态判别(只要求单件却产出四层 / 反向) TS-30 C-1 (c),过度交付按 LU1/HP1 扣
C-1 硬互斥判别 TS-31(① 型内出现窗式)、TS-32(② 型内出现 At MM:SS.mmm) H5b,#52
官方硬约束集中正向 TS-37 H1/H4/H5/H6/H10
官方硬约束违规判别(已知会失败) TS-38 H4/H5/H1
乱码转图分支 TS-39 H8,doc1:71
关系标记白名单 TS-40 H9,8 取值
[unclear] + 标点规范化 TS-41 H7,doc2:575
音频不可单独输入 → block TS-42 H13,doc1:35
block:过度阻塞(建议性 note / 菜单内有替代,正确 = 产出) TS-33(prompt 轨反向判别) §6.3 增补 2
block:阻塞理由输入侧有据(TS-26 重建) TS-26(重建)+ TS-34(程度词改写判别) §6.3 增补 1 + §10.0.3'
clarify:过度反问(信息已全,正确 = 产出) TS-35(prompt 轨反向判别) §6.4 增补 1
clarify:该问不问(主体 + UI 文案双缺) TS-36 §6.4 增补 2
已知会失败的判别样本 TS-09 / TS-18 / TS-21 / TS-28(沿用)+ TS-31 / TS-32 / TS-38 §九
C-1 各形态覆盖 ②:TS-19/20/23/26/29/32/33/34/35/36/43;①:TS-01-18/21/30/31/37/38/39/40/41 §一 1.2(g)
url 资产层保真 TS-05/06/09/12/13/16/18/19/22/24/26 + TS-29/33/34/42 C1
素材数量上限 / 组合合法性 TS-06 / TS-13 / TS-42 H13

10.2 判分可复算性

test_scenarios_v5.json 每条场景的 scoring_points 都写成「判据编号 + 分值算式 + 触发条件」, 退化策略压测矩阵(§十一)的每个格子都给算式。评分记录按既有惯例逐场景落 _v5_artifacts/scores/。


十一、block / clarify 轨区分度证据(任务书第 4 项)

11.1 v4 缺口

v4 两轨各 7 条场景,真实产出全部 98-100,零区分度(evolve_report_v4 交接)。根因:负样本的 「错误响应」在判据上没有实体扣分点——阻塞报告只要「报了」就能拿 B1/B2 分,反问清单只要 「问了」就能拿 CL1 分。

11.2 v5 修复:负样本按「对抗策略」构造,区分度可预计算

v5 给 block/clarify 轨的每条新场景定义对抗策略(degenerate policy),并预先算出该策略的 应得分数。这是判据层面的可区分性证明(分析性压测),不是 agent 实跑;agent 实跑回填留给 Evolver 首跑(revision_notes §四.3)。

场景 正确响应应得分(算式) 对抗策略 对抗策略应得分(算式) 区分度
TS-33 prompt 需求 + 两条建议性 note + 菜单内有替代 96(prompt 轨单件,D1=5、D7=5、D9=5,加权和 96,算式见场景文件) P1 always-block:报阻塞 36:改判 prompt 轨,产出为阻塞报告 → D1=1(无模式意识,把可用素材报死)→ 封顶 40;加权和 Σ(D1=1/5×20 + D2..D9 各 2/5×10) = 4 + 32 = 36 → min(36, 40) = 36 60
TS-34 阻塞场景 + note 原文「必须换成洗过的版本」 100(B1 25 复述逐字 + B2 25 + B3 20 + B4 15 + B5 15) P5 程度词弱化:把「必须换」转述成「建议优化」 45:B1 = 0(理由未逐字复述,输入侧有据却改写)+ B2 25 + B3 12(预案基于弱化理由,缺窗式切分细节)+ B4 8 + B5 0(把硬阻塞说成建议,调用方无法决策)→ 45 55
TS-42 音频单独输入违规 100(B1 25 点名 doc1:35 组合条款 + B2 25 + B3 20 + B4 15 + B5 15) P2 never-block:硬产出 prompt 30:D7 档 2(静默引用违规组合素材)→ 上限 70;D8 档 2(照单全收)+ D1 档 2 → 加权和 52 → min(52,70) = 52;另计 B 轨 N/A 不可用(v4 C3 不允许借 N/A 满分,按 prompt 轨记) 48
TS-35 clarify:信息已全、仅余低风险参数 95(prompt 轨:D8=5 显式标注推定、D1=5、D9=5 → 95) P3 always-clarify:发 5 问清单 68:改判 clarify 轨,CL1 ≤ 20(把可推断项拿去问)+ CL2 25 + CL3 8 + CL4 10 + CL5 5 → 68 27
TS-36 clarify:核心主体 + 必需 UI 文案双缺 95(CL1 30 问全 + CL2 25 + CL3 12 + CL4 13 + CL5 15) P4 never-clarify:编造世界观直接出 prompt 45:改判 prompt 轨,D8 档 1(编造主体)+ D1 档 2 → 封顶 60;加权和 48 → 48 47
TS-26(重建)必需素材无替代 100 P2 never-block:静默引用水印图 35:D7 档 1 → 上限 70、D8 档 2 → 加权和 35 → 35 65

区分度指标定义:gap = 正确响应应得分 − 最强对抗策略应得分。v5 验收线:block/clarify 相关 样本每条 gap ≥ 25。上表 6 条 gap = 60/55/48/27/47/65,全部达标(最窄的是 TS-35 的 27, 原因是 always-clarify 策略仍能拿到 CL2/CL4 的分——这是有意的:CL2 零臆造与 CL4 锁定推定本来就该 给分,否则又会犯 C3(d) 否决过的「惩罚正确保守行为」的错)。

对 v4 的对照:v4 两轨 14 个场景格(7 block + 7 clarify)在 P1-P4 四种退化策略下的平均 gap 为 0(策略 P1/P3 在所有场景都拿满分,因为判据没有反向扣分点);v5 的 6 条新样本平均 gap = 50.3。这是可复算的算式,不是断言。

11.3 退化策略族定义(评分记录需引用)

策略 行为
P1 always-block 任何 note 一律报阻塞
P2 never-block 无视 note 与素材组合合法性,一律硬产出 prompt
P3 always-clarify 任何场景都发问清单,不产出
P4 never-clarify 任何信息缺口都自行编造续跑
P5 weaken-note 复述 note 时弱化程度词(「必须」→「建议」)

十二、收工自检清单(对应任务书硬约束 R0-R6)

项 要求 结果
R0 官方原文一律读 cache_v5,禁止复抓/复读飞书 ✓ 本轮零网络请求、零 lark-cli 调用(附录 A 复核脚本只读 cache_v5 与 digest/v4 产物)
R1 curl 强制 --retry 1 --max-time 40,失败→WebFetch 一次→标「无法复检」 ✓ 未触发(零网络)
R2 HTTP 200 按 <title>/关键词复核假 200 ✓ 未触发
R3 飞书只走 lark-cli,搜得到 ≠ 读得到 ✓ 未触发
R4 引句必须能在 cache_v5 原文逐字回查到,编造即整份打回 ✓ §〇.2 对账表 + 附录 A 逐行抽取脚本与输出留档 cwd
R5 不 cat /home/node/.lark-cli/config.json ✓ 未触碰
R6 v1-v4 产物 mtime/bytes 零改动 ✓ 开工基线 r6_baseline.json(27 文件,2026-08-28T17:55:58Z)+ 收工复测,结果登记 revision_notes §六
验收 ① 三个 _v5 文件齐、每条判据带信源级别 + 行号 ✓ 本文件 §五/§八 + test_scenarios_v5.json + revision_notes
验收 ② C-1/C-2 有明确裁决(非「待确认」) ✓ §一 / §二,各带判据理由
验收 ③ 三轨负样本有区分度证据 ✓ §十一,6 条 gap 全部 ≥ 25,算式可复算
验收 ④ 测试集可机械判分、算式可复算 ✓ test_scenarios_v5.json scoring_points 全带判据编号与分值算式
验收 ⑤ v1-v4 零改动 ✓ 同 R6