version: v5 generated_by: innovator-digest date: 2026-08-28 based_on: hunt/knowhow_v5.md + sources_v5.json(T-mtd7r60r,Innovator 已逐项验收放行)+ cache_v5/ 全文落盘 + v4 基线(benchmark_v4.md / benchmark_v4_revision_notes.md / test_scenarios_v4.json) supersedes: benchmark_v4.md input_discipline: R0 官方原文一律读 cache_v5(feishu_doc1 / feishu_doc2),本轮零次复抓、零次复读飞书、零网络请求
quote_verification: 本基准引用的每一处 cache_v5 行号均由 Digester 于 2026-08-28 用 python 逐行抽取逐字比对(复验脚本与本文件同轮落盘,见 benchmark_v5_revision_notes.md 附录 A);负向主张(doc1 零 [Shot N]/零 At MM:SS.mmm、doc2 零窗式)由本机 grep 独立复算,与 sources_v5.json negative_findings 逐项一致
H3 视频提示词质量评分基准 v5 — h3-video-prompt
生成者:innovator-digest(Phase 2 Digest,v5 增量修订)|日期:2026-08-28 评分对象:该 agent 针对一条用户视频创意产出的交付物集合。v4 起按产出形态三轨计分 (prompt / block / clarify,禁合并);v5 在 prompt 轨内新增链路模式(需求理解 → 分镜设计 → 分镜脚本 → H3 Prompt 四层实体判分),并把 v4 只能引 GitHub 镜像的条款全部补上官方一手 (A 级)锚点。 前身:
benchmark_v4.md(2026-08-27,9 维度 + C1-C8 + 三轨)。v5 不推翻 v4 的九维度骨架、 权重(20 + 10×8)、三轨结构与 B1-B5 / CL1-CL5 分值,只做六类事(任务书 T-mtd8yff2 六项): ①C-1 时间习语分层裁决;②C-2 语言规则划界;③官方硬约束升 A 级判据;④block/clarify 负样本 提尖 + 区分度证据;⑤TS-26 场景构造修复;⑥链路全流程评分维度。
〇、v4 → v5 修订背景
0.1 触发源
- 本轮首次拿到官方一手飞书语料并全文落盘(
cache_v5/feishu_doc1…FIWjwgL33ipnkekzk30crmKUnIh.md147058B / revision 1297;feishu_doc2…Vztzwstuqi3MQKkxs8QcGmxinxe.md41607B / revision 252)。 v4 之前的「官方口径」全部来自 GitHub 镜像(MiniMax-AI/MiniMax-H3),只能引sources_v4.json注册表内的抽样 quotes、无法回查全文。v5 起每条判据都能给 cache_v5 行号。 - 官方一手语料内部本身多制式并存(knowhow_v5 §4):C-1 时间分段四种 A 级形态并存、 C-2 正文语言两条 A 级条款张力、C-7 环绕运镜两种 A 级表述并存。这三项 Hunt 只列证据不替选, 由本轮拍板(§二 / §三 / §四)。
- v4 遗留 #3 / #4(evolve_report_v4 交接):block/clarify 两轨 100×7 零区分度、TS-26 阻塞理由
登记在输入侧。本轮分别以「更尖负样本 + 退化策略压测」(§十一)与「note 原文进 raw_brief +
input_delivered_fields元字段」(§十 0.3)修复。 - 任务书新增要求:本轮训练目标是「需求理解 → 分镜设计 → 分镜脚本 → H3 Prompt」一条链, 不允许只考末端 prompt 生成(§六.2 链路模式)。
0.2 引文复核对账(本轮零网络)
本基准全部 A 级引文的复核方式是读 cache_v5 落盘原文(R0),不是重新抓取。复核动作:
| 复核项 | 方法 | 结果 |
|---|---|---|
| doc1:35 硬参数表 | 逐行抽取比对 | ✓ 「输出时长 4-15秒」「输出帧率 24 FPS」「提示词字数上限 不超过7000字符」「音频 ≤3段且必须配图片或视频输入,不能单独输入」「混合输入的总上限是 12 个文件」逐字命中 |
| doc1:71 乱码转图 | 逐行抽取比对 | ✓ 「官方小Tips:…将文字以图片形式提供给 H3 作为参考图,并在提示词中明确告诉 H3——"这张内容必须按"图片"来理解,不能按"文字"来处理。"」逐字命中 |
| doc1:97 窗式案例 | 逐行抽取比对 | ✓ 六个窗标题 [0 秒-2 秒]…[10 秒-15 秒] 逐字命中(与 v4 R|s13 co-op 模板逐一同型) |
| doc1:195/:200 公式与四要素 | 逐行抽取比对 | ✓ 完整提示词 = 参考素材说明 + 核心创意 + 画面过程说明;③行式 0-3 秒:全景…;④0〜3 秒 + 正向/反向;环绕运镜建议 truck left+pan right 或 truck right+pan left,而非直接说环绕运镜 |
| doc1:237 全角波浪窗 | 逐行抽取比对 | ✓ 0〜3 秒- 正向:…- 反向:…(手绘特效 15s 完整案例);同表 MV 案例用 Shot 1 — 无时间戳 |
| doc2:107/:111/:114/:455 时间戳 | 逐行抽取比对 | ✓ 第一镜不写时间戳;后续镜头使用连续编号,并在开头写递增且位于视频时长范围内的切镜时间;[Shot 2] At 00:03.500, the camera cuts to... |
| doc2:543 篇幅区间 | 逐行抽取比对 | ✓ 生成类任务的 detailed_description 通常为 350—500 个英文单词 + 三条例外逐字 |
| doc2:162/:170 声音段句数 | 逐行抽取比对 | ✓ 使用 1–4 句英文…概括贯穿整段视频的环境声;使用 1–3 句英文描述角色听不到、只有观众能听到的背景配乐 |
doc2:575 [unclear] |
逐行抽取比对 | ✓ 无法辨认的部分写作 [unclear],不猜测或改写 |
| doc2:398/:400-405/:427-434 关系标记 | 逐行抽取比对 | ✓ 这些标记是格式中的固定英文取值;可见内容 4 个 + 音频 4 个(共 8 个,非任务书所写的 6 个,见 §五 H9) |
| 负向主张独立复算 | 本机 python 正则计数(见 §八 表尾) | ✓ doc1 全文 [Shot N] 0 处、At MM:SS.mmm 0 处、<Subject N> 0 处、<d> 0 处;doc2 全文 [N秒-M秒] 窗式 0 处、N-M 秒 0 处——与 sources_v5.json negative_findings 第 3 条逐项一致 |
knowhow_v5 §6.3 两处更正(诚实登记,见 revision_notes §二.4):①「六关系标记」实为 可见内容 4 + 音频 4 = 8 个固定英文取值;②
overall_soundscape 1–4 句/non_diegetic_music 1–3 句在交接清单里未带行号,本轮已在 doc2:162 / doc2:170 找到逐字出处,升 A 级。 交接清单里没有任何一条被我核出「无出处仍升 A 级」——但有一条被核出计数错误,已按原文落 8 个。
0.3 出处分级体系(沿用 v3/v4,新增 R 级)
| 等级 | 含义 | 引用形态 |
|---|---|---|
| A | MiniMax 官方一手逐字条款 | doc1:行号 / doc2:行号 + 原文(doc1/doc2 = cache_v5 两篇飞书文档) |
| B | 内部规范(我方工程约定 / 从相邻官方条款收口,方向不与官方矛盾)或社区一手实践 | 标注「内部规范」或 github/<repo>:行号 |
| C | 构造性设计(无任何真实先例或官方文本,从规则合理推演的收口/边界处理) | 标注「构造性设计」 |
| R | 复用自 v4 已固化信源(本轮禁复抓) | v4 出处(R) + 原 sources_v4.json 行号;升级到 A 级时在 §八 C-8 表登记「原出处 → 现出处」 |
判据理由纪律(本轮新增,逐条适用):§五与 §八的每条判据都带一句「判据理由」(为什么这条 要进基准、为什么标这个级)。理由给不出的条目不进生效标准;待议项收工时清零(本轮为零, 见 revision_notes §五)。
一、裁决 C-1:时间分段习语的分层收敛规则
knowhow_v5 §4 C-1 列出 4 种 A 级官方形态(①②③④)+ 1 种 B 级社区形态(⑤),只列证据不替选。 本节是 v5 的拍板,不是推翻 v4 R1 的习语甲/乙分轨,而是给分轨补上 A 级一手锚点 + 分层规则。
1.1 四种 A 级形态与本次证据强度
| 形态 | 写法 | A 级出处(本轮逐字复核) | 官方语料内出现次数(本轮 grep) |
|---|---|---|---|
| ① | [Shot N] + 递增 At MM:SS.mmm,第一镜不写时间戳 |
doc2:107 / :111 / :114 / :455 | doc2 内 [Shot N] 41 处、At MM:SS.mmm 7 处;doc1 内 0 处 |
| ② | [N 秒-M 秒] 窗式标题 |
doc1:97(官方「提示词」列完整案例) | doc1 内 5 处(:97 六窗 + 例);doc2 内 0 处 |
| ③ | N-M 秒: 行式 |
doc1:200(樱花庭院示例) | doc1 内 3 处(0-3/3-8/8-12) |
| ④ | 0〜3 秒 全角波浪窗 + 正向/反向两栏 |
doc1:237(手绘特效 15s 完整案例) | doc1 内 5 处(0〜3/3〜6/6〜10/10〜13/13〜15) |
| ⑤ | 六节大写标题 + [0–Xs] |
B 级:github/chiphoton text-to-video 模板(C-5 登记不采信) | 官方语料 0 处 |
补充事实(本轮 grep 新发现,knowhow 未列出):doc1:237 的「大字幕 MV」案例用 Shot 1 —(无方括号、
无时间戳) 的第五种变体;doc1:231 坑表把「想一镜到底但写了很多分镜 → 删掉【镜头 N】结构」列为官方
纠错项。结论:doc1 内部分段记号有 4 种变体(②③④ + Shot N—),官方在「案例层」不做记号统一。
1.2 裁决
(a)分层规则:规范层优先于案例层。 doc2 自述「面向开发者的 Prompt 扩写指导文档」(doc2:6)、 「更偏向开发者和专业创作团队使用」(doc2:16),全文给出可机械执行的格式条款(instruction 第一行、 固定标签取值、字数区间);doc1 自述为用户向手册,其分段记号只以案例形式出现。因此:
- doc2 = 方法论规范层唯一正源:凡涉及「最终 H3 Prompt 的格式与记号」,以 doc2 条款判分。
- doc1 = 案例与模型参数层正源:模型硬参数(§五 H1-H3)、三段公式、四要素、镜头拆分、坑表以 doc1 判分;doc1 案例里的分段记号不直接升格为格式判据。
(b)分镜脚本层采用 ② [N 秒-M 秒] 窗式。 判据理由:v5 链路(§六.2)里的「分镜脚本」是一份
给人与给下游看的、按时长切分的分段文档,它的核心义务是「窗口边界可核对」——②是官方四种
形态里唯一一个窗口边界显式成对出现、可逐窗相加核验总时长的形态(③行式把时间揉进散文、
④的正向/反向两栏把边界塞进叙述);且 doc1:97 是官方把该形态文本直接放在「提示词」列的一手案例,
与 v4 习语乙(R|s13 co-op 模板)逐字同型。采纳 ② 保持与 v4 习语乙连续,不推翻任何 v4 判定。
(c)最终 H3 Prompt 层:当且仅当交付形态是 doc2 结构化(六段 / 三主体字段 / instruction)时,
收敛到 ①。 判据理由:doc2 是唯一规范层文本,① 是它给出的唯一分段记号;At MM:SS.mmm +
连续 [Shot N] 编号 + 第一镜无时间戳是 doc2 明文条款(:107/:111/:455),可机械判分。② 不因此
降级为非法——doc1:97 官方一手把窗式文本放在「提示词」列,② 依然是 A 级合法最终 Prompt 形态;
但它的判分落点在 D2 习语乙子表,不吃 ① 的硬约束条款(H4/H5)。
(d)链路交付的映射纪律(v5 新增,B 级内部规范):当一次交付包含「分镜脚本(②)」与
「最终 H3 Prompt(①)」两件时,两件必须通过窗号 ↔ 镜号一一对应衔接(脚本第 N 窗 = Prompt
的 [Shot N] 或 [Shot N]/[Shot N+1] 跨窗),且只允许存在一套时间轴——脚本层写 [N 秒-M 秒]、
Prompt 层写 At MM:SS.mmm,两件不得各自再发明一套编号或时长。理由:官方 4–15s 单次上限
(doc1:35)决定了链路里两件交付描述的是同一段视频,双时间轴必然产生矛盾;映射纪律是从
doc2:111「连续编号」+ doc1:202-216「镜头怎么拆」收口的工程规范。
(e)③④登记为 A 级合法变体,不作为 v5 考察形态。 理由:③是教学级简写(无机位/UI 三要素 结构,无法承载 §六 D2 习语乙子表的判分项);④的正向/反向两栏与 doc1:200「想要/不想要」同构, 其内容结构可作为 ②/① 交付中负向信息的来源,但其全角波浪窗记号不作为判分形态。v5 场景集 不构造要求 ③/④ 的题目,交付中出现 ③/④ 也不因此判违规(A 级先例在案)——只判其内容是否满足 所申报形态的三要素义务。
(f)硬互斥(v5 新增 A 级反证判据,见 §五 H5b):①型交付内出现 [N 秒-M 秒] 窗式、或 ②型
交付内出现 At MM:SS.mmm 时间戳,均为记号混用违规。理由:两种记号在官方语料中互斥分布
(doc1 0 处 ①、doc2 0 处 ②),混用意味着把两种不可互换的时间语义(窗口边界 vs 切镜时刻)叠在
同一份交付里,下游无法机械解析。
(g)逐形态判分落点总表
| 交付形态 | 分段记号判分依据 | 语言规则 | 适用的官方硬约束 |
|---|---|---|---|
| ① 型(doc2 结构化) | doc2:107/:111/:114(D2 习语甲档 + D9) | 正文英文(doc2:242) | H4/H5/H6/H9/H10 + 全部 H |
| ② 型(分镜脚本 / 窗式 Prompt) | doc1:97 窗标题(D2 习语乙子表 + D9) | 跟随用户输入(doc1:97 中文案例 + doc1:35 多语言) | H1/H2/H3/H8 + 跨形态不变量 H11/H12 |
| ③/④(登记不考察) | 内容按所申报形态判,记号不判 | 同上 | 同上 |
二、裁决 C-2:正文语言规则按交付形态划界
knowhow_v5 §4 C-2 列出双方 A 级证据。v4 C4 已拍板习语分轨;本轮证据把「官方 SKILL.md:33(英文) vs handdrawn:13(跟随用户)」升级为「doc2:242(英文)vs doc1:97/doc1:35(中文案例 / 多语言)」, 两条都成了 A 级一手,且不再依赖镜像信源。
裁决:按交付形态划界,不按「哪份文档」划界。 理由:doc1 自己的案例就是中文散文、同时又写 「支持多语言提示词输入与输出」(doc1:35),所以「官方文档 = 英文」这条界不成立;doc2 的英文条款 (:242)明文限定在「扩写的六个段落正文」这个形态上。按形态划界是唯一能让两条 A 级条款同时 成立的切法。
| 交付形态 | 正文语言判据 | 级别 | 出处 |
|---|---|---|---|
| ① 型 doc2 结构化(六段 / 三主体字段 / instruction) | 正文英文;<d> 内台词/歌词、画面实际可见文字保留原始语言 |
A(硬) | doc2:242「扩写的六个段落正文统一使用英文;只有 <d> 中的台词、歌词以及画面中实际可见的文字保留原始语言。」 |
| ② 型窗式交付(分镜脚本 / 窗式 Prompt) | 跟随用户输入主导语言(中文输入 → 中文正文) | A(硬) | doc1:97 官方案例正文全中文 + doc1:35「支持多语言提示词输入与输出」;R 佐证:v4 handdrawn SKILL.md:13 |
| 分镜设计(链路第 2 层,给人类的内部档) | 语言自由 | B(内部规范) | 官方无「内部设计档语言」条款;从 doc1:220-222(给用户看的三类模式写法)收口 |
| 台词 / 歌词(跨两形态) | 原词、原语言、原标点不改写;无法辨认写 [unclear] |
A(硬,跨形态不变量) | doc2:137 / :575 |
| 画面实际可见文字(跨两形态) | 英文双引号包围,原文与标点逐字保留,不翻译 | A(硬,跨形态不变量) | doc2:154(含 :157 中文招牌 "营业中" 示例) |
| 字段名写法 | 「非叙事性音乐:N/A」与 "non_diegetic_music": N/A 两种写法都合法,互不判违规 |
A | doc1:200 同段并列给出两种 |
| UI 字符串「中文 (ENGLISH)」中英并列 | 维持 v4 #39:C 级构造(出处 = master 输入形态),输入自带则沿用、输入只给英文则英文单语,两种互不判违规 | C | v4 #39;官方一手侧 co-op:63-68 英文单语 + doc2:154 不翻译,无中英并列先例 |
判分落点:把「正文必须英文」套到 ② 型交付上判违规 = 判据越界违规(与 v4 C5 的「出处纪律 违规」同一性质);把「跟随用户语言」套到 ① 型交付上判违规 = 同罪。两种越界都记入评分记录的 出处纪律项,并在自查清单第 22 条延伸适用。
三、裁决 C-7:环绕运镜
- doc2:123 运镜词汇表含
Arc Shot(围绕主体弧形移动);doc1:200 同时建议环绕运镜 「用truck left+pan right或者truck right+pan left,而非直接说环绕运镜」。 - 裁决:默认用组合写法(doc1:200 是指导层条款,直接约束「怎么写」);
Arc Shot保留在 合法词汇表内,交付中出现不判违规(doc2:123 是词汇层条款,定义「可用词」)。反向均违规: 把组合写法说成官方强制、或把Arc Shot从合法词表删除,都是出处纪律违规。 - 判分落点:D6 运镜维度——交付用
Arc Shot描述环绕 → 不扣分;交付自创「环绕运镜」中文词 进入 ① 型英文正文 → D9 词法纪律档 2;交付写成「环绕运镜(orbit around)」且未落到任何官方 词汇 → D6 档 3。
四、C-3 / C-4 / C-5 / C-6 / C-8 处置(沿用 Hunt 登记,官方赢 / 相容)
| 冲突项 | v5 处置 |
|---|---|
C-3 retention_analysis 语义 |
官方赢(doc2:394 逐项保留/迁移/复制/参考关系)。社区「观众记忆点」语义不得吸收;链路 SD 层若需要记忆点概念另立字段名,不占用 retention_analysis |
C-4 summary 缺任务类型标记 |
官方赢(doc2:360 方括号 + :371-376 六类型 + :378 加号组合格式)。链路 SS 层产出六段交付时必须补 [...] 标记 |
| C-5 社区模板习语 | 维持 B 级登记不采信(<Subject N> 零命中,sources_v5 negative_findings 第 6 条本轮独立复核一致) |
| C-6 时长下限 | 官方 4s 为准(doc1:35);社区 5s 属实现选择。链路 SD 层段长判据按官方 4–15s |
| C-8 已升 A 级的 v4 条款 | 见 §八 8.2 升级登记表(10 条 v4 R 级 → v5 A 级一手行号) |
五、官方硬约束判据(v5 新增 A 级,H1-H16)
v4 从未有过一手出处、本轮从 cache_v5 逐条落 A 级的硬约束。每条给:判据描述 / 出处 / 判据理由 / 判分落点。H 系列对 ① 型交付全部适用;对 ② 型交付只适用标了「跨形态」的条目(见 §一 1.2(g))。
H1 提示词总长 ≤ 7000 字符 【A|跨形态】
- 出处:doc1:35 表格行「提示词字数上限|不超过7000字符」。
- 理由:这是官方模型入口约束,超限的交付物根本无法被 H3 接受,属硬边界而非风格偏好;v4 完全 没有这条,SKILL 篇幅膨胀(89KB)正是它的现实风险面。
- 判分落点:D9 机械校验(超限 = 档 2);链路模式在 HP 层复检。计量口径:最终 H3 Prompt 交付件
的字符数(含标点与空白),B 级内部规范——官方未定义计数口径,我方取「Python
len()语义的 字符数」并在评分记录里写明口径。
H2 输出时长 4–15 秒 【A|跨形态】
- 出处:doc1:35「输出时长|4-15秒」。升级登记:v4 #35 只能引 README.md:73(GitHub 镜像),本轮 升 A 级一手;v4 的 README.md:73 与官方三脚本佐证降为 R 级同型佐证。
- 理由:官方参数层硬边界;v4 已把「超限不得静默」落成条款,本轮只换出处等级,条款不变(C6.3 沿用)。
- 判分落点:D9(正文出现 >15s 或
H3 输出帧率 24 FPS 【A|参数层】
- 出处:doc1:35「输出帧率|24 FPS」。
- 理由:官方参数层事实,但不是提示词正文的写作义务——官方全部案例正文均未写帧率。判据收窄为 「若提及则不得写错 + 需求指定非 24 帧时不得静默照写」,否则会把参数层事实误写成正文判据。
- 判分落点:D9(写错帧率 = 档 2);需求要求 30/60 帧时正确行为是显式说明该参数不在提示词层控制 (B 级内部规范,相邻条款 doc1:35);不写帧率不扣分(A 级行为先例:doc1 两案例正文零处帧率)。
H4 instruction 第一行 + 空行 【A|仅 ① 型 I2VA/FL2VA/L2VA】
- 出处:doc2:57「instruction 必须位于最终 Prompt 的第一行,后面空一行再写主体字段。」
- 理由:doc2 明文格式条款,可机械判分;v4 只能从五模式推演落位,本轮升 A 级硬判据。
- 判分落点:D2 习语甲档(instruction 位置错 = 档 2)+ D9(缺空行 = 档 2);T2VA 无 instruction, 不适用(A:doc2:37)。
H5 At MM:SS.mmm 递增切镜时间 + 第一镜不写时间戳 【A|仅 ① 型】
- 出处:doc2:107「第一镜不写时间戳。」;doc2:111「后续镜头使用连续编号,并在开头写递增且位于视频
时长范围内的切镜时间」;doc2:114 / :455 给出官方具体格式
[Shot 2] At 00:03.500, ...。 - 理由:v4 #32「无重叠」只能从 base-en:86 的 strictly increasing 收口;本轮拿到格式 + 纪律的 一手逐字条款,升级为独立判据。
- 判分落点:D9 机械校验(第一镜带时间戳 / 毫秒位数 ≠ 3 位 / 非递增 / 超出视频时长 = 档 2)+ D6。
- H5b(硬互斥):① 型交付内零处
[N 秒-M 秒](A 反证:doc2 全文 0 处);② 型交付内零处At MM:SS.mmm(A 反证:doc1 全文 0 处)。判分落点 D9 档 2 + D1 档 2(判别样本 TS-31/TS-32)。
H6 生成类 detailed_description 350–500 英文词 【A|仅 ① 型】
- 出处:doc2:543 + 三条例外逐字(台词密集型以容纳台词时间线为先、视频编辑类按源视频复杂度展开、 单镜头并不自动缩短篇幅)。
- 理由:官方明文给出区间 + 三条豁免;判据必须连豁免一起落,否则会把官方明确允许的台词密集
交付判成超篇幅。只约束
detailed_description一段,不约束整份交付(doc2:543 主语是它)。 - 判分落点:D2(区间外且不落在任一豁免 = 档 3;无豁免依据的机械补字数 = 档 3)。
H7 [unclear] 不猜测改写 + 标点规范化 【A|跨形态(台词)】
- 出处:doc2:575「无法辨认的部分写作
[unclear],不猜测或改写。标点统一使用…基础书面标点,如,、.、?和!;删除重复波浪号、emoji、项目符号以及重复或装饰性标点。完整的陈述句、疑问句 和感叹句分别在</d>前以.、?或!结束。」 - 理由:这是音频复用场景下的保真底线:猜测改写 = 编造输入事实,直接落 D8。v4 只有 C2 口径 R 的内部收口,本轮升 A 级。
- 判分落点:D5(猜测改写 = 档 1,硬错误下限 75 触发)+ D8(编造 = 档 1);判别样本 TS-41。
H8 画面文字乱码 → 转参考图条款 【A|跨形态】
- 出处:doc1:71 官方小Tips 逐字。
- 理由:这是 v1–v5 从未入库的官方分支行为条款——复杂/易乱码文字的正确处理路径是「以图片形式 提供作参考图 + 在提示词中明确『按图片理解、不按文字处理』」,不是硬着头皮写文字描述。
- 判分落点:D4(复杂文字仍写成纯文字描述且输入明确提示易乱码 = 档 2)+ D7(未声明参考图用途); 判别样本 TS-39。
H9 关系标记是格式中的固定英文取值(8 个,非 6 个)【A|仅全能参考六段交付】
- 出处:doc2:398「
<Subject N>、<Picture N>和<Video N>使用以下关系标记。这些标记是格式中的 固定英文取值」+ :400-405 可见内容 4 个(fully_preserved/partially_preserved/attribute_transfer/weak_reference)+ :427-434 音频 4 个(fully_copy/partially_copy/reference/weak_reference)。 - 更正登记:任务书与 knowhow_v5 §6.3 写「六关系标记」,官方一手语料实为 4 + 4 = 8 个。本轮 按原文落 8 个,并在 revision_notes §二.4 登记。
- 理由:官方称「固定英文取值」,即白名单枚举——自创中文或变体取值 = 词法违规,可机械判分。
- 判分落点:D9(任一非白名单取值 = 档 2)+ D2;判别样本 TS-40。
- 配套(同为 A 级):
retention_analysis逐标签一行并沿用subject_definitions含义(doc2:394)、 不写(Sx)(doc2:579)、边界不把新加入内容误写成参考损失(doc2:444)。
H10 overall_soundscape 1–4 句 / non_diegetic_music 1–3 句 【A|仅 ① 型六段/三字段】
- 出处:doc2:162「使用 1–4 句英文,在一个连续段落中概括贯穿整段视频的环境声…」;doc2:170 「使用 1–3 句英文描述角色听不到、只有观众能听到的背景配乐」。
- 出处补全登记:knowhow_v5 §6.3 列了这两条但未带行号,本轮在 doc2:162/:170 找到逐字出处, 升 A 级(v4 无出处)。
- 理由:官方明文句数区间 + 「存在配乐时说明乐器、速度和动态变化」(doc2:597)+ N/A 精确条件 (doc2:594 区「没有环境声时写 N/A」)——三件事都可机械判分。
- 判分落点:D3(句数区间外 = 档 3;N/A 条件不精确 = 档 3,沿用 v2 口径)。
H11 台词长短与 shot 长短对齐 【A|跨形态】
- 出处:doc1:206「台词的长短和画面变化内容需要合乎每个 shot 的长短逻辑,尽量不要出现一个 3s shot 说很大一段话的情况」+ 官方原注「很多口型问题会来自于这个」。
- 理由:官方把这条标成生成质量的一手根因(口型问题),且给了可机械核对的判法(台词字数/句数 与该 shot 秒数明显失衡)。
- 判分落点:链路模式 SD4 + D6 档 2;单件模式 D6 档 2。
H12 跨镜台词 / 画外音 / 结尾截断记号 【A|仅 ① 型】
- 出处:doc2:150(
<scenetrans>/<cutoff>+ 四个连续性表达)、doc2:459(连续跨两次切镜时中间 镜<d>以<scenetrans>开头且结尾)、doc2:144/:147(画外音says in an off-screen voiceover- 唇部保持闭合)、doc2:135(稳定编号
(Sx)+ 组合编号 + 无声者不分配编号)。
- 唇部保持闭合)、doc2:135(稳定编号
- 理由:v4 把这套记号标为「v4 内部推演」;本轮全部拿到 A 级一手逐字,升级登记见 §八 8.2。
- 判分落点:D5 习语甲口径不变;新增 A 级锚点行号。
H13 全能参考素材数量硬上限 【A|参数层】
- 出处:doc1:35「图片 ≤9 张;视频 ≤3 段(单段 [2,15]s,总时长 ≤15s);音频 ≤3 段且必须配图片或 视频、不能单独输入;混合输入的总上限是 12 个文件」。
- 理由:入口硬约束;v3 #21 只有 12 文件上限(R 级镜像),本轮补齐四项 + 音频不可单独输入。
- 判分落点:D7(场景要求音频单独输入且无图/视频 → 正确行为是阻塞或说明,静默产出 = 档 2 + D8);判别样本 TS-42。音频不可单独输入是官方唯一一条「素材组合合法性」条款,故单列为硬判据。
H14 标签一经分配沿用同一含义 【A|仅六段交付】
- 出处:doc2:272「某个引用标签一旦分配给一项内容,在
subject_definitions、summary、retention_analysis、detailed_description和声音段落中始终沿用同一含义。」 - 理由:五处一致是六段交付的可解析性底线;v4 C1 已有同向条款,本轮升 A 级一手。
- 判分落点:D1 档 3(同一标签两处含义漂移)。
H15 <Video N> / <Audio N> 独立编号、不表配对 【A|仅六段交付】
- 出处:doc2:347「各自独立编号,序号只表示它们在所属标签类别中的顺序,不表示二者之间的配对关系。
因此同一份参考视频可以同时对应
<Video 1>和<Audio 2>」+ :349「普通参考视频不会仅因文件带有 声音而自动产生<Audio N>」。 - 理由:v4 内部推演项;本轮升 A 级,且给出可判分的反例判法(把音视频序号配对 = 违规)。
- 判分落点:D1 档 2(把
<Video 1>与<Audio 1>写成配对绑定)。
H16 分镜参考图映射到镜头而非秒数 【A|跨形态】
- 出处:doc2:310「
<Picture 3> is a storyboard reference for [Shot 1] and [Shot 2], defining their viewpoint, subject placement, and shot order.」+ doc2:553 三种帧锚点自然表达 + doc1:200 用途词 「故事版(根据故事版分镜生成镜头内容)」。 - 理由:v4 线上真实调用 conv-mtclmne2 漏认领 Picture 3 的一手根因条款(memory: h3-live-prod-call-picture3-miss)。v4 只能引 R|s03 ref-en.txt:73,本轮升 A 级一手。
- 判分落点:D1(分镜参考图未被任何镜头认领 = 档 2;写成对齐到秒 = 档 2,沿用 v4 #29)+ 链路模式 SS3;判别样本 = 重建后的 TS-26 预案落位项 + TS-29 SS3。
六、维度设计
6.1 prompt 轨:九维度与权重不变(20 + 10×8 = 100),新增两种计分模式
| 维度 | 名称 | 权重 | v5 变化 |
|---|---|---|---|
| D1 | 官方输入模式覆盖度(核心锚点) | 20 | 增补 H14/H15/H16 三条 A 级锚点 + ①/② 形态判定(C-1) |
| D2 | 结构化字段完整性 | 10 | 增补 H4/H6 落点;习语乙子表窗标题出处换 doc1:97(A 级一手) |
| D3 | 声音设计完整性 | 10 | 增补 H10 句数区间与 N/A 精确条件(A:doc2:162/:170) |
| D4 | 具体性 vs 空洞质量词 | 10 | 增补 H8 乱码转图分支落点 + doc1:200「多写看得见的画面 / 少写比喻」 |
| D5 | 对白逐字保真与 <d> 格式 |
10 | 增补 H7 [unclear] A 级锚点 + H12 记号一手行号 |
| D6 | 运镜与镜头语言一致性 | 10 | 增补 H11 台词-镜头对齐 + C-7 环绕运镜裁决 |
| D7 | 素材可用性预检与阻塞报告 | 10 | 增补 H13 素材组合合法性 + H16 认领义务 |
| D8 | 意图忠实与扩写边界 | 10 | 增补 H7 猜测改写 = 编造 + H2 超限静默 |
| D9 | 输出前机械校验 | 10 | 增补 H1/H3/H4/H5/H5b/H9 六项机械校验(v4 三项 → v5 九项) |
v5 不新增第 10 维:本轮全部新判据都能落在既有维度内(硬约束 → D9 机械校验、形态判定 → D1、 内容义务 → D2-D7),与 v3/v4 拒绝加维的同一理由成立(再切新维度会稀释仅少量真实先例的行为类 维度的权重可解释性)。判据从 v4 的 46 条增至 v5 的 62 条,维度数与权重不动。
6.2 prompt 轨链路模式(v5 新增,落任务书第 6 项)
场景元字段
expected_chain声明本次需求是否要求多件交付。链路场景的 prompt 轨成绩不再用 九维度,改用四层实体判分表;两层(单件交付)场景沿用九维度。这不是第四轨——它是 prompt 轨 内部的计分模式,三轨禁合并纪律不变(§七)。
算式:LU 15 + SD 20 + SS 30 + HP 35 = 100。
| 层 | 名称 | 分值 | 检查项与判据 |
|---|---|---|---|
| LU | 需求理解 | 15 | LU1 模式与形态判定(5):从 raw_brief 判定 T2VA/I2VA/FL2VA/L2VA/全能参考(A:doc2:28-57)+ 交付形态 ①/②(C-1)+ 素材组合是否合法(H13)。判错 = 本项 0。LU2 输入事实锁定(5):raw_brief 与 note 原文中的硬事实(时长、UI 文案集合、素材职责、必须替换类 note)被逐字锁定复述;改写程度词(「必须换」→「建议优化」)= 0。LU3 零臆造(5):不编造 raw_brief 未给的主体/UI 文案/台词;出现 = 0 |
| SD | 分镜设计 | 20 | SD1 段长合规与拆分(5):每段时长落在 4–15s(A:doc1:35);需求超 15s 时给拆分方案而非静默产出(v4 C6.3 沿用)。SD2 衔接锚点(5):相邻段/相邻镜之间显式给出至少一个衔接锚点(同一动作方向/视线目标/光/道具/轮廓/声音/受力任一);「无理由跳切」= 0(B 级:github/TFboy1 storyboard-schema:7-11,官方相邻条款为 doc1:216 切镜写清景别与主体 + doc1:231 禁无理由分镜)。SD3 镜头卡字段齐(5):每镜给出镜号/时长/景别/运镜/内容/声音/转场(B 级同源:chiphoton 单镜 10 项登记 + TFboy1 7 列镜头卡;官方相邻条款为 doc1:200「想要」栏的 景别+内容+运镜+动作+台词+音效)。SD4 台词-镜头对齐(5):H11(A:doc1:206)——台词字数/句数与该镜秒数明显失衡 = 0 |
| SS | 分镜脚本 | 30 | SS1 窗式结构与边界(8):② [N 秒-M 秒] 窗标题覆盖 0 → 总时长、相邻窗相接(A:doc1:97 六窗 + v4 C5 分级表逐行判);窗内零处 At MM:SS.mmm(H5b)。SS2 每窗三要素(6):每窗含 机位/运镜 + 主体动作 + UI/覆盖元素(A 同型:doc1:97 各窗首行 景别 字段 + UI 枚举)+ 声音落点(v4 D2 习语乙子表沿用,出处换 doc1:97)。SS3 素材认领(8):分镜参考图按 doc2:310 映射到镜头并写明提供的规划信息;每条素材至少被一个窗认领(幽灵禁令);零秒级对齐(v4 #29 沿用)。SS4 台词/声音落窗(8):台词逐字落在对应窗内(v4 D5 习语乙子表)、画外发声语义等价标记 + 唇部闭合(doc2:144 语义要求跨形态适用)、静默窗也写声音(B:TFboy1「声音列必填」+ doc1:200「音效」栏) |
| HP | H3 Prompt | 35 | HP1 形态判定与一致性(7):最终 Prompt 形态按 C-1 判定正确;与 SS 层构成窗号 ↔ 镜号一一对应(1(d) 映射纪律),零双时间轴。HP2 结构化硬约束(12):适用的 H1/H2/H4/H5/H6/H10 全过(每违反一项扣 3,本项扣完为止)。HP3 台词与说话人(8):(Sx) 稳定编号、<d> 逐字保真、画外音 + 唇部闭合、<scenetrans>/<cutoff>(H12,A:doc2:135/:144/:150)。HP4 段落与标签体系(8):三主体字段顺序或六段顺序正确(A:doc2:62-66 / :250);标签一经分配五处同义(H14);<Video N>/<Audio N> 独立编号(H15);关系标记白名单(H9) |
链路模式下的封顶与硬错误下限沿用 v4 §4.2(D1 封顶不适用——链路模式没有 D1;LU3=0 或 HP3 命中档 1 核心违规 → 总分上限 75;必需素材不可用仍静默引用 → 上限 70)。
6.3 block 轨(B1-B5 分值不变:25 + 25 + 20 + 15 + 15 = 100)
v4 C3 全文有效。v5 增补两点:
- B1 的理由必须有输入侧据:阻塞报告点名的理由必须能逐字回查到 raw_brief / note 原文 (这是 TS-26 修复的直接落点,见 §十 0.3)。理由在输入侧无据 = B1 记 0(该阻塞无据,属过度阻塞 家族)。
- 过度阻塞反向判据:素材可用、或 note 为建议性、或菜单内存在 note 指定的替代版本时,正确 行为是继续产出;此时报阻塞 = 轨别按实际产出形态改判 prompt 轨,且 LU3/CL2 同源违规并行扣分 (判别样本 TS-33)。
6.4 clarify 轨(CL1-CL5 分值不变:30 + 25 + 15 + 15 + 15 = 100)
v4 C8 全文有效。v5 增补两条区分度判据(针对 v4 两轨 100×7 零区分度):
- 过度反问反向判据(CL1 收紧):raw_brief 已给全部关键信息、仅余不改变主体事实的低风险参数 (如有无 BGM / 节奏快慢)时,正确行为是直接产出 + 显式标注推定;此时发问清单 → CL1 ≤ 20 (v4 已有「把不改变结果的可推断项也拿去问 → ≤20」条款,本轮用 TS-35 让它真的会触发)。
- 该问不问正向判据(CL2 收紧):核心主体或必需 UI 文案完全缺失时,编造主体续跑 = CL2 = 0 且改判 prompt 轨并行扣 D8(判别样本 TS-36)。
七、总分计算方法与三轨纪律
prompt 轨(单件模式)= Σ(维度得分/5 × 权重) 满分 100,权重 20 + 10×8
prompt 轨(链路模式)= LU + SD + SS + HP 满分 100,算式 15 + 20 + 30 + 35
block 轨 = B1-B5 之和 满分 100,算式 25 + 25 + 20 + 15 + 15
clarify 轨 = CL1-CL5 之和 满分 100,算式 30 + 25 + 15 + 15 + 15
N/A 处理:仅 prompt 轨单件模式可记 N/A(行为不可能发生时);链路模式不记 N/A;
block / clarify 轨不记 N/A(v4 C3/C8 纪律不变)。
封顶(链路模式):LU3=0 → 上限 75;HP3 命中档 1 → 上限 75;必需素材静默引用 → 上限 70。
封顶(单件模式):沿用 v4 三道(D1→40/60、D5 硬错误 75、D7 静默引用 70)。
轨别判定:沿用 v4 C8a——轨别跟随实际产出形态,改判须在评分记录注明原因。
部署达标条件(三轨,禁合并):
prompt 轨均值 ≥ 90
且 block 轨每一个场景 ≥ 85
且 clarify 轨每一个场景 ≥ 85
且 全部场景零静默引用、零臆造
汇报口径:三轨数字分开呈现,禁止任何形式的跨轨合并平均(安全/保守行为的正确选择不得被
均值稀释——C3/C8 的既有裁决,v5 重申)。
可比性声明:v5 链路模式的分数与 v4 prompt 轨(九维度)不可直接比——量尺构成不同(四层 实体判分 vs 九维度加权)。链路场景在 v4 无对应样本(v4 场景集全部单件交付),因此 v4 prompt 轨 均值与 v5 prompt 轨均值的可比范围仅限单件模式场景;汇报时须分列。
八、判据出处对照总表
8.1 v4 已登记 #1-#46(全部沿用,等级不变者不重列)
v4 的 46 条判据本轮零条被推翻。其中需要换出处或换级的逐条列在 8.2 / 8.3;其余沿用 v4 §五 原文行号(R 级镜像出处继续可用作同型佐证,但凡 v5 已拿到 A 级一手行号的条目,判分以 A 级为准)。
8.2 升级登记表(R / 推演 → A 级一手,共 12 条)
| v4 条款 | v4 出处(R/推演) | v5 A 级出处(本轮逐字复核) |
|---|---|---|
| 输出时长 4–15 秒(#35) | README.md:73 | doc1:35「输出时长|4-15秒」 |
| 第一镜不写时间戳 + 递增切镜时间(#32) | base-en.txt:86 | doc2:107 / :111(格式见 :114/:455) |
| 运镜三维度 | base-en.txt:94-96 | doc2:121 |
| 运镜词汇表 | base-en.txt | doc2:123 |
| 画面文字双引号逐字保留 | base-en.txt:146 | doc2:154(:157 中文招牌示例) |
| 分镜参考图映射到镜头(#30) | ref-en.txt:70-73 | doc2:310 + doc2:553 + doc1:200 用途词「故事版」 |
| 说话人稳定编号 + 组合编号 + 无声者不编号 | v4 内部推演 | doc2:135 |
| 画外音 + 唇部闭合绑定 | s02 相邻条款推演 | doc2:144 / :147 |
<scenetrans> / <cutoff> |
v4 内部推演 | doc2:150 / :459 |
| 习语乙正文语言跟随用户(#23) | handdrawn SKILL.md:13 | doc1:97(官方中文案例)+ doc1:35(多语言);handdrawn:13 降为 R 佐证 |
时间窗标题 [N 秒-M 秒] 是官方交付形态(#22) |
co-op template:48-121 | doc1:97(官方「提示词」列一手案例) |
| 幽灵素材禁令 / 素材必须被认领 | v3 #7(C 级) | doc2:272(五处同义)+ doc2:310(分镜图映射镜头) → 内容义务升 A;「禁令」表述仍为 C 级收口 |
8.3 v5 新增判据(#47-#62,逐条带级与理由)
| # | 判据 | 级 | 出处 | 判据理由(一句话) |
|---|---|---|---|---|
| 47 | 提示词 ≤ 7000 字符(H1) | A | doc1:35 | 入口硬边界,超限即不可用 |
| 48 | 时长 4–15 秒一手化(H2) | A | doc1:35 | 官方参数层边界,v4 只能引镜像 |
| 49 | 24 FPS:提及则不得写错、不强制写入正文(H3) | A(参数层) | doc1:35 | 官方案例正文零处帧率,不能把参数层事实写成写作义务 |
| 50 | instruction 第一行 + 空行(H4) | A | doc2:57 | doc2 明文格式条款,可机械判分 |
| 51 | At MM:SS.mmm 递增 + 第一镜无时间戳(H5) |
A | doc2:107/:111/:114/:455 | 格式 + 纪律一手条款,取代 v4 相邻条款收口 |
| 52 | ①/② 记号硬互斥(H5b) | A(反证) | doc2 全文 0 处窗式;doc1 全文 0 处 At MM:SS.mmm(本轮 grep 复算) | 官方语料互斥分布,混用即双时间语义叠加 |
| 53 | 350–500 英文词 + 三条例外(H6) | A | doc2:543 | 官方区间 + 豁免,须连豁免一起落 |
| 54 | [unclear] 不猜测改写 + 标点规范化(H7) |
A | doc2:575 | 保真底线,猜测 = 编造输入事实 |
| 55 | 乱码转参考图 + 按图理解声明(H8) | A | doc1:71 | 官方分支行为条款,v1-v5 首次入库 |
| 56 | 关系标记固定英文取值 8 个(H9) | A | doc2:398/:400-405/:427-434 | 官方称「固定取值」即白名单,可机械判分 |
| 57 | soundscape 1–4 句 / music 1–3 句(H10) | A | doc2:162/:170 | 本轮补全行号后升 A;句数可机械判分 |
| 58 | 台词长短与 shot 对齐(H11) | A | doc1:206 | 官方标注的口型问题一手根因 |
| 59 | 全能参考素材数量 + 音频不可单独输入(H13) | A | doc1:35 | 官方唯一一条素材组合合法性条款 |
| 60 | 标签五处同义(H14) | A | doc2:272 | 六段交付可解析性底线 |
| 61 | Video/Audio 独立编号不配对(H15) | A | doc2:347/:349 | 官方明文给出反例判法 |
| 62 | 链路四层实体判分 LU/SD/SS/HP(§6.2) | C(构造性设计,0 真实先例) | 本基准裁决;官方锚点:doc1:195 三段公式、doc1:202-216 镜头怎么拆、doc2:310 | 任务书第 6 项要求;四层切分是工程收口,官方无「分几层交付」条款,如实标 C |
分镜设计 SD 层引用的 B 级素材:chiphoton 单镜 10 项登记(production-workflow.md:26-36)、 TFboy1 7 类衔接锚点(storyboard-schema.md:7-11)与 7 列镜头卡(:164-190)。这三种是社区一手 实践,不是官方条款——判据已用「官方相邻条款」二次锚定(doc1:200「想要」栏字段集、doc1:216), 出现官方与社区冲突时以官方为准(C-3/C-4/C-5 同一纪律)。
8.4 负向主张独立复算记录(本轮,零网络)
| 负向主张 | 复算方法 | 结果 |
|---|---|---|
doc1 全文无 [Shot N] / At MM:SS.mmm / <Subject N> / <d> |
python 正则 \[Shot \d+\]、At \d{2}:\d{2}\.\d{3}、<Subject \d+>、<d> |
全部 0 ✓(支撑 H5b ②侧 + C-1 分层) |
doc2 全文无 [N 秒-M 秒] 窗式、无 N-M 秒 |
python 正则 \[\d+\s*秒\s*[-–~〜]\s*\d+(\.\d+)?\s*秒\]、\d+\s*[-–~〜]\s*\d+\s*秒 |
全部 0 ✓(支撑 H5b ①侧) |
| doc1 内分段记号有 4 种变体 | 正则 Shot \d+ + 【…】 |
✓ Shot 1—6(doc1:237 MV 案例)、【镜头 N】(doc1:231)+ ②③④ |
| doc2 关系标记计数 | 通读 :400-405 / :427-434 | ✓ 可见 4 + 音频 4 = 8(非 6,登记更正) |
| doc2 声音段句数出处 | 逐行抽取 :160 / :170 | ✓ 1–4 句 / 1–3 句(补全 knowhow 缺的行号) |
| doc2 无独立负向约束段 | sources_v5 negative_findings 第 4 条 | ✓ 本轮通读一致:负向信息落在 doc1:200「不想要」栏与 :162/:170 的 N/A |
九、行业基准纪律(诚实标注,不编造行业数字)
延续 v3/v4 §六的判断:h3-video-prompt 是针对单一官方模型的写作方法论技能,不存在可抓取的第三方
行业平均分。v5 起有一个实质变化:飞书官方一手语料已全文入库(v4 登记的「飞书标杆文档登录墙
未解」在本轮被 Hunter 打通,revision_id 1297 / 252 已登记),因此 industry_avg_score 的证据基础
从「零官方文本」升级为「两篇官方一手全文 + 4 个社区一手仓」,但它依然是构造性量尺,不是行业
统计量。本轮给三轨分别设基准(算式可复算,非编造数字):
| 项 | 取值 | 算式 / 来源 |
|---|---|---|
industry_avg_score(prompt 轨单件模式) |
82.0 | 以 v3-v4 四轮真实产出为样本(evolve_report_v3/v4 已回填的判据实测区间 96-100 与已知失败样本 55-75 的中位加权),样本量 18 场景;标注:构造性基线,样本来自本技能自身历史轮次,不是外部行业数据 |
industry_avg_score(prompt 轨链路模式) |
未测量 | 链路场景 0 真实先例(判据 #62 标 C),本轮不给数字,不拿单件模式分数背书 |
industry_avg_score(block / clarify 轨) |
85.0(下限口径) | 部署达标线(C3/C8 既定);两轨已有真实产出 2 条(TS-09=100、TS-12=98),样本量不足以给均值 |
| 数据质量评分 | 0.765 | 算式(权重 0.7/0.2/0.1,口径见 revision_notes §三.2):0.7 × A级判据占比 + 0.2 × 官方一手覆盖率 + 0.1 × 引句逐字可回查率。A 级占比 = 28/41(带等级判据 = v4 #22-#46 的 A13/B7/C5 + v5 #47-#62 的 A15/C1,共 41 条;v3 #1-#21 与 v4 #1-#21 未在本文件重列等级,不计入分母,避免拍脑袋)= 0.6829;官方一手覆盖率 = 2/2 = 1.0;引句可回查率 = 71/82 = 0.8659(Hunter 侧口径,sources_v5 quote_text_policy 审计值,登记为我方输入)→ 0.4780 + 0.2000 + 0.0866 = 0.7646 ≈ 0.765 |
| 样本量统计 | 场景 43(v4 28 沿用 + v5 新增 15);信源 4 + 25 条 v4 复用;引句 82 条 | test_scenarios_v5.json coverage_summary |
诚实登记(两版数字都留痕):起草时首版算出 0.86,复核时发现两处口径错——①A 级占比的 分母取了「62 条判据总数」,但其中 v3 #1-#21 / v4 #1-#21 在本文件没有逐条重列等级,把它们 计入分母就是给没核过的数当分母;②首版把引句可回查率当成了我方判据质量,实际是 Hunter 侧
quote_text_policy的审计口径,只能作为输入登记。修正后正式采用 0.765,算式与分母定义 全部写在上表。这就是「不验证不提交」该拦下来的那种错:不拦就会把首次拍脑袋的数字当交付。
十、场景覆盖矩阵(v5 验收自查)
场景集:test_scenarios_v5.json,43 条(TS-01~28 沿用 v4 骨架 + TS-29~43 新增 15 条);
轨别:prompt 33(其中链路模式 2:TS-29 / TS-43)/ block 5 / clarify 5。TS-33 与 TS-35 虽考察
block/clarify 行为,但正确响应是产出,故声明 prompt 轨——对抗策略在它们身上触发的正是 v4 C8a
的轨别改判(§十一)。
0.3' TS-26 场景构造修复(任务书第 5 项,v5 场景集级纪律)
v4 缺口根因:TS-26 的阻塞理由只登记在 asset_menu[1].note,而 agent 实际收到的输入面是
raw_brief——输入侧没有声明「note 字段会被送达」,导致「复述输入 note」与「编造阻塞理由」两种
行为无法区分,阻塞理由实质上登记在评分方手里而不是被评方手里。
v5 修复(三件,全场景适用):
- 新增场景元字段
input_delivered_fields:显式声明该场景 agent 能看到哪些字段 (["raw_brief","asset_menu"]或["raw_brief"])。评分时只对声明送达的字段计「输入侧有据」。 - 所有 block / clarify 场景的必要 note 原文整句写进
raw_brief:note 的程度词(「必须」「只能」 「没有也行」)逐字保留,不改写。这样阻塞理由在输入侧有据成为可机械核对的事实。 - 新增判分点:阻塞理由必须逐字复述输入侧 note 原文(含程度词),改写程度词 = LU2 = 0 / B1 = 0(判别样本 TS-34)。
10.1 覆盖表
| 要求覆盖项 | 场景 | 出处标注 |
|---|---|---|
| 链路正向主场景(需求理解→分镜设计→分镜脚本→H3 Prompt) | TS-29(带 UI 文案)、TS-43(多说话人 + 画外音 + 跨镜台词) | LU/SD/SS/HP 四层;C-1 裁决 ②+① |
| 链路形态判别(只要求单件却产出四层 / 反向) | TS-30 | C-1 (c),过度交付按 LU1/HP1 扣 |
| C-1 硬互斥判别 | TS-31(① 型内出现窗式)、TS-32(② 型内出现 At MM:SS.mmm) | H5b,#52 |
| 官方硬约束集中正向 | TS-37 | H1/H4/H5/H6/H10 |
| 官方硬约束违规判别(已知会失败) | TS-38 | H4/H5/H1 |
| 乱码转图分支 | TS-39 | H8,doc1:71 |
| 关系标记白名单 | TS-40 | H9,8 取值 |
[unclear] + 标点规范化 |
TS-41 | H7,doc2:575 |
| 音频不可单独输入 → block | TS-42 | H13,doc1:35 |
| block:过度阻塞(建议性 note / 菜单内有替代,正确 = 产出) | TS-33(prompt 轨反向判别) | §6.3 增补 2 |
| block:阻塞理由输入侧有据(TS-26 重建) | TS-26(重建)+ TS-34(程度词改写判别) | §6.3 增补 1 + §10.0.3' |
| clarify:过度反问(信息已全,正确 = 产出) | TS-35(prompt 轨反向判别) | §6.4 增补 1 |
| clarify:该问不问(主体 + UI 文案双缺) | TS-36 | §6.4 增补 2 |
| 已知会失败的判别样本 | TS-09 / TS-18 / TS-21 / TS-28(沿用)+ TS-31 / TS-32 / TS-38 | §九 |
| C-1 各形态覆盖 | ②:TS-19/20/23/26/29/32/33/34/35/36/43;①:TS-01-18/21/30/31/37/38/39/40/41 | §一 1.2(g) |
| url 资产层保真 | TS-05/06/09/12/13/16/18/19/22/24/26 + TS-29/33/34/42 | C1 |
| 素材数量上限 / 组合合法性 | TS-06 / TS-13 / TS-42 | H13 |
10.2 判分可复算性
test_scenarios_v5.json 每条场景的 scoring_points 都写成「判据编号 + 分值算式 + 触发条件」,
退化策略压测矩阵(§十一)的每个格子都给算式。评分记录按既有惯例逐场景落 _v5_artifacts/scores/。
十一、block / clarify 轨区分度证据(任务书第 4 项)
11.1 v4 缺口
v4 两轨各 7 条场景,真实产出全部 98-100,零区分度(evolve_report_v4 交接)。根因:负样本的 「错误响应」在判据上没有实体扣分点——阻塞报告只要「报了」就能拿 B1/B2 分,反问清单只要 「问了」就能拿 CL1 分。
11.2 v5 修复:负样本按「对抗策略」构造,区分度可预计算
v5 给 block/clarify 轨的每条新场景定义对抗策略(degenerate policy),并预先算出该策略的 应得分数。这是判据层面的可区分性证明(分析性压测),不是 agent 实跑;agent 实跑回填留给 Evolver 首跑(revision_notes §四.3)。
| 场景 | 正确响应应得分(算式) | 对抗策略 | 对抗策略应得分(算式) | 区分度 |
|---|---|---|---|---|
| TS-33 prompt 需求 + 两条建议性 note + 菜单内有替代 | 96(prompt 轨单件,D1=5、D7=5、D9=5,加权和 96,算式见场景文件) | P1 always-block:报阻塞 | 36:改判 prompt 轨,产出为阻塞报告 → D1=1(无模式意识,把可用素材报死)→ 封顶 40;加权和 Σ(D1=1/5×20 + D2..D9 各 2/5×10) = 4 + 32 = 36 → min(36, 40) = 36 | 60 |
| TS-34 阻塞场景 + note 原文「必须换成洗过的版本」 | 100(B1 25 复述逐字 + B2 25 + B3 20 + B4 15 + B5 15) | P5 程度词弱化:把「必须换」转述成「建议优化」 | 45:B1 = 0(理由未逐字复述,输入侧有据却改写)+ B2 25 + B3 12(预案基于弱化理由,缺窗式切分细节)+ B4 8 + B5 0(把硬阻塞说成建议,调用方无法决策)→ 45 | 55 |
| TS-42 音频单独输入违规 | 100(B1 25 点名 doc1:35 组合条款 + B2 25 + B3 20 + B4 15 + B5 15) | P2 never-block:硬产出 prompt | 30:D7 档 2(静默引用违规组合素材)→ 上限 70;D8 档 2(照单全收)+ D1 档 2 → 加权和 52 → min(52,70) = 52;另计 B 轨 N/A 不可用(v4 C3 不允许借 N/A 满分,按 prompt 轨记) | 48 |
| TS-35 clarify:信息已全、仅余低风险参数 | 95(prompt 轨:D8=5 显式标注推定、D1=5、D9=5 → 95) | P3 always-clarify:发 5 问清单 | 68:改判 clarify 轨,CL1 ≤ 20(把可推断项拿去问)+ CL2 25 + CL3 8 + CL4 10 + CL5 5 → 68 | 27 |
| TS-36 clarify:核心主体 + 必需 UI 文案双缺 | 95(CL1 30 问全 + CL2 25 + CL3 12 + CL4 13 + CL5 15) | P4 never-clarify:编造世界观直接出 prompt | 45:改判 prompt 轨,D8 档 1(编造主体)+ D1 档 2 → 封顶 60;加权和 48 → 48 | 47 |
| TS-26(重建)必需素材无替代 | 100 | P2 never-block:静默引用水印图 | 35:D7 档 1 → 上限 70、D8 档 2 → 加权和 35 → 35 | 65 |
区分度指标定义:gap = 正确响应应得分 − 最强对抗策略应得分。v5 验收线:block/clarify 相关
样本每条 gap ≥ 25。上表 6 条 gap = 60/55/48/27/47/65,全部达标(最窄的是 TS-35 的 27,
原因是 always-clarify 策略仍能拿到 CL2/CL4 的分——这是有意的:CL2 零臆造与 CL4 锁定推定本来就该
给分,否则又会犯 C3(d) 否决过的「惩罚正确保守行为」的错)。
对 v4 的对照:v4 两轨 14 个场景格(7 block + 7 clarify)在 P1-P4 四种退化策略下的平均 gap 为 0(策略 P1/P3 在所有场景都拿满分,因为判据没有反向扣分点);v5 的 6 条新样本平均 gap = 50.3。这是可复算的算式,不是断言。
11.3 退化策略族定义(评分记录需引用)
| 策略 | 行为 |
|---|---|
| P1 always-block | 任何 note 一律报阻塞 |
| P2 never-block | 无视 note 与素材组合合法性,一律硬产出 prompt |
| P3 always-clarify | 任何场景都发问清单,不产出 |
| P4 never-clarify | 任何信息缺口都自行编造续跑 |
| P5 weaken-note | 复述 note 时弱化程度词(「必须」→「建议」) |
十二、收工自检清单(对应任务书硬约束 R0-R6)
| 项 | 要求 | 结果 |
|---|---|---|
| R0 | 官方原文一律读 cache_v5,禁止复抓/复读飞书 | ✓ 本轮零网络请求、零 lark-cli 调用(附录 A 复核脚本只读 cache_v5 与 digest/v4 产物) |
| R1 | curl 强制 --retry 1 --max-time 40,失败→WebFetch 一次→标「无法复检」 |
✓ 未触发(零网络) |
| R2 | HTTP 200 按 <title>/关键词复核假 200 |
✓ 未触发 |
| R3 | 飞书只走 lark-cli,搜得到 ≠ 读得到 | ✓ 未触发 |
| R4 | 引句必须能在 cache_v5 原文逐字回查到,编造即整份打回 | ✓ §〇.2 对账表 + 附录 A 逐行抽取脚本与输出留档 cwd |
| R5 | 不 cat /home/node/.lark-cli/config.json |
✓ 未触碰 |
| R6 | v1-v4 产物 mtime/bytes 零改动 | ✓ 开工基线 r6_baseline.json(27 文件,2026-08-28T17:55:58Z)+ 收工复测,结果登记 revision_notes §六 |
| 验收 ① | 三个 _v5 文件齐、每条判据带信源级别 + 行号 | ✓ 本文件 §五/§八 + test_scenarios_v5.json + revision_notes |
| 验收 ② | C-1/C-2 有明确裁决(非「待确认」) | ✓ §一 / §二,各带判据理由 |
| 验收 ③ | 三轨负样本有区分度证据 | ✓ §十一,6 条 gap 全部 ≥ 25,算式可复算 |
| 验收 ④ | 测试集可机械判分、算式可复算 | ✓ test_scenarios_v5.json scoring_points 全带判据编号与分值算式 |
| 验收 ⑤ | v1-v4 零改动 | ✓ 同 R6 |