test_scenarios_v3.json
34.1 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
{
"version": "v3",
"generated_by": "innovator-digest",
"date": "2026-08-27",
"based_on": "hunt/knowhow_v3.md + master 三条拍板决策(T-mtb6dgpw)",
"supersedes": "test_scenarios_v2.json",
"note": "评分对象是 h3-video-prompt agent 针对每条创意描述产出的最终交付物,按 benchmark_v3.md 打分。每条场景新增 expected_outcome 元字段(prompt|block)声明评测轨别(benchmark_v3.md §二 C3);Ref2VA 场景的 asset_menu 里 url 用 <OSS> 占位,真实跑测时须替换为可访问的同源地址。出处等级:A=官方逐字条款、B=内部规范、C=构造性设计(标注在每条判据尾部)。新增 TS-13~TS-18 覆盖上轮从未被触发的盲区。",
"scenarios": [
{
"id": "TS-01",
"mode": "T2VA",
"difficulty": "基础",
"expected_outcome": "prompt",
"raw_brief": "帮我拍个开箱视频,就是纯手办开箱,没有别的素材。",
"why_this_mode": "无任何参考素材输入,纯文本原创场景,对应官方 T2VA。与 benchmark_v2 一致,仅按 v3 判据微调落点。",
"scoring_points": [
"D1:正确识别为 T2VA,不得臆造参考图锚定写法;[A] 无参考图时直接由文本构建完整时间线,可补与用户意图一致的细节(base-en.txt:172)",
"D8:主体/时长/情绪基调缺失是否一次性反问而非臆造具体手办(B:内部规范『优先反问』,fde_report_v2 §四.2 拍板项保留原状)",
"D4:开箱近景特写最易堆砌质量词,看材质光影是否落到光源+位置+效果三问",
"D9:基础模式三字段齐全顺序正确,无 schema 外字段(B:内部工程规范)"
]
},
{
"id": "TS-02",
"mode": "I2VA",
"difficulty": "基础",
"expected_outcome": "prompt",
"raw_brief": "这是我们奶茶新品的一张海报图,想让它'动起来',杯子转个圈然后倒出奶茶的效果。",
"why_this_mode": "以一张首帧图像为起点展开叙事,对应官方 I2VA。[v2继承]",
"scoring_points": [
"D1:识别为 I2VA,从参考图静态状态展开动作,不当 Ref2VA 或重新构图",
"D9:I2VA 起始指令行含 `<Picture 1>` 且编号正确、占位符已解析;[v3] 顺序口径改为 references 数组 = 菜单原始顺序 = 自动编号顺序,不再要求与 Picture 定义条目一一对应(机制性证据 chat_template.json + 内部规范 B)",
"D2:integrated_multimodal_description 是否交代'静止→转圈→倒出'时间线",
"D6:转圈+倒出是否有唯一主导运镜,不塞矛盾指令"
]
},
{
"id": "TS-03",
"mode": "FL2VA",
"difficulty": "中等",
"expected_outcome": "prompt",
"raw_brief": "有一张女生站在门口的照片和一张她已经走进屋里坐下的照片,想要中间的过渡动画,15秒。",
"why_this_mode": "首尾两帧描述连续运动路径,对应官方 FL2VA。[v2继承]",
"scoring_points": [
"D1:两张图各自的时间戳显式标注(0.00s / 结束帧),不得只当 I2VA 处理其一",
"D1/D6:不得把首尾帧场景当 Ref2VA 写(首尾帧与全参考结构混用仍是 D1 档 2 违规)",
"D9:FL2VA 指令行 N / S.SS 已替换成具体数值,无残留字面占位符(内部规范 B)",
"D4/D8:中间过程可补低风险可拍摄细节,不得添加剧情结论"
]
},
{
"id": "TS-04",
"mode": "L2VA",
"difficulty": "中等",
"expected_outcome": "prompt",
"raw_brief": "只有一张最后定格的照片——男人站在悬崖边看着日出,我要一段到达这个画面之前发生了什么的视频。",
"why_this_mode": "仅有尾帧,反推到达前的过程,对应官方 L2VA。[v2继承]",
"scoring_points": [
"D1:识别为 L2VA,产出是反推过程而非复述尾帧画面",
"D8:反推限定低风险可拍摄动作,不得添加关系/情绪等高风险剧情推断",
"D4:动作三段式具体展开且正好停在尾帧状态",
"D6:运镜方向呼应'逐渐抵达'叙事,不与定格机位矛盾"
]
},
{
"id": "TS-05",
"mode": "Ref2VA",
"difficulty": "困难",
"expected_outcome": "prompt",
"asset_menu": [
{ "order": 1, "id": "watch", "type": "image", "role": "产品外观来源", "url": "<OSS>/h3_v3_ts05/watch.png", "note": "" },
{ "order": 2, "id": "speaker_video", "type": "video", "role": "人物形象与身份锚定", "url": "<OSS>/h3_v3_ts05/speaker.mp4", "note": "" }
],
"raw_brief": "帮我做条产品发布短视频:15秒,参考素材是一张我们智能手表的产品图和一段之前拍好的代言人口播视频片段,想要代言人抬手展示手表的镜头,手表外观和之前口播视频里的人物形象都要保持一致,风格科技感但不要浮夸。",
"why_this_mode": "1 图 + 1 视频的多主体一致性场景,官方 Ref2VA 典型用例;本条是 baseline_target.md worked example 的场景原型。[v2继承]",
"scoring_points": [
"D1:subject_definitions 分别声明手表与代言人两个主体,summary/retention_analysis 点名跨镜头保持一致的具体特征",
"D7:两条素材分别声明职责;[v3 A] 两条资产的原 url 原样进 conditions[].uri / references 数组,顺序 = 菜单顺序,url 不出现在正文层",
"D9:视频素材走 `<Video 1>` 标签,不因文件里有声音而另造 `<Audio N>`([A] ref-en.txt:112)",
"D4:'科技感但不要浮夸'被转译成具体光影材质,而非照抄质量词"
]
},
{
"id": "TS-06",
"mode": "Ref2VA",
"difficulty": "困难",
"expected_outcome": "prompt",
"asset_menu": [
{ "order": 1, "id": "shoe_angle_1", "type": "image", "role": "球鞋外观来源(正面)", "url": "<OSS>/h3_v3_ts06/shoe_front.png", "note": "" },
{ "order": 2, "id": "shoe_angle_2", "type": "image", "role": "球鞋外观来源(侧面)", "url": "<OSS>/h3_v3_ts06/shoe_side.png", "note": "" },
{ "order": 3, "id": "shoe_angle_3", "type": "image", "role": "球鞋外观来源(鞋底细节)", "url": "<OSS>/h3_v3_ts06/shole_sole.png", "note": "" },
{ "order": 4, "id": "street_dance", "type": "video", "role": "动作与节奏来源", "url": "<OSS>/h3_v3_ts06/dance.mp4", "note": "" }
],
"raw_brief": "我们有3张不同角度的球鞋产品图和1段之前拍的街舞视频片段,想做一条球鞋广告,球鞋要和视频里舞者脚上穿的鞋型号一致,风格潮流街头。",
"why_this_mode": "3 图 + 1 视频,测试多素材下职责声明与编号是否会漏项。[v2继承]",
"scoring_points": [
"D1:3 张同主体多角度图合并进一个 Subject 的多来源声明,不误拆 3 个主体([A] ref-en.txt:48 一主体可由多个素材定义)",
"D7:街舞视频职责=动作节奏来源,与 3 张产品图(外观来源)不重叠;url 全部逐张保留且顺序 = 菜单顺序([v3 A+B])",
"D3:街头氛围声音设计具体到声音类型与卡点位置",
"D6:多镜头时间戳连续无重叠无间隙"
]
},
{
"id": "TS-07",
"mode": "待定(信息不足)",
"difficulty": "边界",
"expected_outcome": "prompt",
"raw_brief": "给我做个视频。",
"why_this_mode": "极度欠定义输入,验证一次性反问机制不被模式判断体系挤掉。[v2继承]",
"scoring_points": [
"D8:一次性列出全部缺失关键信息反问,不自行编造场景往下写",
"D1:反问时预判各分支会走的模式,为追问做准备",
"D9:不伪造一个看似合规的 JSON 提示词假装完成;若 schema 无反问通道则明确说明信息不足(B:内部工程规范)",
"Never Rules:不编造标杆水平产出或假装读过不可达文档"
]
},
{
"id": "TS-08",
"mode": "待定(矛盾指令)",
"difficulty": "边界",
"expected_outcome": "prompt",
"raw_brief": "帮我写个视频提示词,镜头要一直推进,但同时环绕主体转一圈,8K电影感,越震撼越好。",
"why_this_mode": "用户原话自带矛盾运镜与空洞质量词,测 D6/D4/D8 纠偏。[v2继承]",
"scoring_points": [
"D6:识别矛盾主导运镜并拆镜或明确取舍",
"D4:'8K电影感''越震撼越好'被转译为具体描述",
"D8:元指令不能照搬,取舍理由写进交付说明",
"D9:拆镜后 Shot 编号与时间戳连续合理"
]
},
{
"id": "TS-09",
"mode": "Ref2VA",
"difficulty": "困难",
"expected_outcome": "block",
"source": "真实生产样例 painted_skin_room(conv-mtabpqx9 同源输入);本轮按任务要求把完整生产输入整体纳入,note 为原文摘录",
"raw_brief": "【整包生产输入】题材:中式古风恐怖《画皮》房间。scene 参考图为一张昏暗旧屋场景图(五扇雕花屏风立于房间中央、圆石面桌上一支蜡烛、右侧罗汉床、墙上挂轴),其右下角烤着「AI生成」水印与飞书角标,note 原文要求出片前必须换成洗过的版本;本轮素材菜单中没有洗过的版本。npc 立绘为白衣古装女子三视图+面部特写+服饰细节,pack tag 取 model_sheet_face(带真脸那一版才准,model_sheet 版脸部涂黑,禁止使用)。player 立绘为深色长袍捕快(腰牌「捕」、佩刀、皂靴、黑头巾),pack tag 取 constable_model_sheet_face,constable_model_sheet 版禁止使用。文字设定:油灯是这间屋的唯一光源。主体定义:<Subject 1> 白衣古装女子(绑定 npc 立绘)、<Subject 2> 深色长袍捕快(绑定 player 立绘)。立绘绑定规则(输入自带):立绘只用来定义人物,不另起 <Picture N> 条目,只有 scene 场景图作为构图锚点单独成条;references 顺序固定 scene → npc → player。要拍的意图(用户原话):你出去看看。",
"asset_menu": [
{ "order": 1, "id": "scene", "type": "image", "role": "场景构图锚点", "url": "<OSS 生产菜单原址>", "note": "右下角烤着「AI生成」水印+飞书角标,会被模型学进成片,出片前必须换成洗过的版本——本轮菜单内无清洗版" },
{ "order": 2, "id": "npc", "type": "image", "role": "NPC 立绘(Subject 1 外观来源)", "url": "<OSS 生产菜单原址>", "note": "带真脸的 model_sheet_face 版才准,别用 model_sheet 版" },
{ "order": 3, "id": "player", "type": "image", "role": "玩家立绘(Subject 2 外观来源)", "url": "<OSS 生产菜单原址>", "note": "带真脸的 constable_model_sheet_face 版才准,别用 constable_model_sheet 版" }
],
"why_this_mode": "已知会失败的判别样本(基准必须至少包含一条理应低分的样本):以 v1 式行为静默引用带水印 scene 图,会同时触发 D7 上限 70、D5 上限 75 与 block 轨 B2=0,必然落入不合格档,用于验证基准判别力。三张图的落位有官方依据:scene = 构图锚点独立 Picture 条目(ref-en.txt:62),两张立绘只在各自 Subject 定义句内联引用序号、不另起 Picture 条目(ref-en.txt:68 + L313 范例)。",
"scoring_points": [
"D7 / block 轨核心(C3):scene 是必需素材、note 要求换清洗版而菜单内无清洗版 → 正确行为是产出阻塞报告并按 B1-B5 计分:点名 scene + 复述水印与飞书角标证据(25 分)、references 不含任何污染素材(25 分)、补料预案给出拿到清洗版后的 references 顺序 scene→npc→player 与各图绑定映射(20 分)、schema 冲突显式说明(15 分)、只对 scene 报阻塞不多报不少报(15 分);静默引用则 B2=0 + prompt 轨 D7 档 2 + 上限 70",
"D1 / C1 落位:scene 为 `<Picture 1>` 独立定义(构图锚点),`<Subject 1>` 与 `<Subject 2>` 在定义句内分别以 `<Picture 2>`、`<Picture 3>` 序号引用立绘来源;不得出现 'as established in the NPC portrait' 这类文字指代([A+C] ref-en.txt:37/:68/:313),不得伪造三个 Picture 定义条目去凑一一对应",
"D9 / C1 词法:正文层只有 `<Subject/Picture N>` 与 `(Sx)`;references 数组顺序 = 菜单原始顺序 scene→npc→player = 自动编号顺序,不再要求与 Picture 定义条目一一对应(机制性证据 chat_template.json)",
"D5 / 口径 V:台词「你出去看看」为用户提供、原句无句号 → `<d>[Chinese] 你出去看看</d>` 逐字保真,补句号即档 2 违规(上限 75)([A] base-en.txt:129)",
"D8 / 冲突最小改动:「油灯是唯一光源」与 scene 图中桌上的蜡烛冲突 → 蜡烛保留但写明未点燃,不得写成两个发光源也不得直接删掉(B:七步工作流第三步优先级表)",
"D8 / 扩写边界:用户只给一句台词,女子反应保持中性、短暂、开放,不得自定拒绝/服从/离开(B:benchmark_v2 D8 子块 B,先例 feedback_eval 问题 3)",
"C1 衍生注意点:即使报告阻塞,三条素材的原 url 仍应逐张保留在报告附带的资产清单里(数据完整性义务),这与不允许引用污染素材是两回事(knowhow_v3 §4.3)"
]
},
{
"id": "TS-10",
"mode": "T2VA",
"difficulty": "基础",
"expected_outcome": "prompt",
"raw_brief": "做条 8 秒的极简空镜视频,画面是一杯茶在窗边慢慢降温,注意:这条视频不需要背景音乐,也不需要任何环境音,保持全程完全安静。",
"why_this_mode": "N/A 精确条件的可触发样本。[v2继承]",
"scoring_points": [
"D3:用户明确要求全程完全静音 → overall_soundscape 显式 N/A,不写'轻微环境底噪'也不留空",
"D3:non_diegetic_music 无配乐时显式 N/A,不留空不省略",
"D3/D9:两字段都在机械校验层面显式出现",
"D4:'极简'不是空词挡箭牌,画面细节仍要光源+位置+效果"
]
},
{
"id": "TS-11",
"mode": "T2VA",
"difficulty": "中等",
"expected_outcome": "prompt",
"raw_brief": "拍个 5 秒恐怖短片:昏暗走廊尽头站着一个穿白裙的小女孩,她说'别过来!',就这一句台词。",
"why_this_mode": "标点双口径中**口径 V(verbatim)**的代表样本:用户台词自带感叹号必须原样保留(与 TS-09 的无句号互为反向验证),并与 TS-18 的口径 R 形成对照。[v2继承 + v3 C2 归类]",
"scoring_points": [
"D5 / 口径 V([A] base-en.txt:129):`<d>[Chinese] 别过来!</d>` 感叹号逐字保留,不得删改或补充标点、不得改写词序",
"D5 / 编号:(S1)稳定分配,首次出现时在 `<d>` 外给身份/音色特征,说话方式写在 `<d>` 外([A] base-en.txt:127/:129)",
"D8:女孩说完后的反应/镜头落点中性、短暂、开放,不自定后续剧情",
"D4:恐怖氛围用具体光影与环境声描写,不用'惊悚/恐怖'堆砌词"
]
},
{
"id": "TS-12",
"mode": "Ref2VA",
"difficulty": "困难",
"expected_outcome": "block",
"asset_menu": [
{ "order": 1, "id": "product_A", "type": "image", "role": "产品外观来源(必需,本轮不可用)", "url": "<OSS>/h3_v3_ts12/product_watermarked.png", "note": "右下角有水印,出片前必须换成清洗版——菜单内无清洗版" },
{ "order": 2, "id": "endorsor_B", "type": "image", "role": "代言人立绘(Subject 来源;两版都在菜单,取 portrait_real_face 版)", "url": "<OSS>/h3_v3_ts12/endorser_real_face.png", "note": "带真脸那版才准,别用 model_sheet 版" },
{ "order": 3, "id": "scene_C", "type": "image", "role": "拍摄场景参考", "url": "<OSS>/h3_v3_ts12/studio.png", "note": "无特殊要求" }
],
"raw_brief": "做条 10 秒产品演示短片,参考素材三张图:A 是我们产品图(note:右下角有水印,出片前必须换成清洗版,但这次菜单里没有清洗版);B 是代言人立绘(note:带真脸那版才准,别用 model_sheet 版,菜单里两版都有);C 是拍摄场景参考(note:无特殊要求)。",
"why_this_mode": "多种禁用 note 类型的区分处理:A 必需且无替代 → 阻塞;B 有替代 → 选对版本;C 正常引用。[v2继承],v3 起 block 部分按 C3 实体计分。",
"scoring_points": [
"D7 / block 轨(C3):区分三类 note —— 只对 A 报阻塞(B5 阻塞范围精确:不把 B/C 一并报死,≤8 扣分即触发此档);对 B 选择带真脸版本而不是 model_sheet 版;C 正常引用;一刀切全部阻塞或全部静默引用均扣分",
"D7 / B1-B5:报告点名 A 并复述水印证据(25)、references 不含 A(25)、给出拿到清洗版后的资产预案与 B/C 绑定映射(20)、schema 冲突显式说明(15)、范围精确(15)",
"D9:B、C 作为各自 Subject 的来源以内联序号引用([A] ref-en.txt:37/:68);数组顺序 = 菜单顺序 A→B→C",
"D2:Ref2VA 六字段齐全且顺序正确(若最终走 prompt 轨的场景变体)"
]
},
{
"id": "TS-13",
"mode": "Ref2VA",
"difficulty": "困难",
"expected_outcome": "prompt",
"asset_menu": [
{ "order": 1, "id": "teahouse_scene", "type": "image", "role": "场景构图锚点", "url": "<OSS>/h3_v3_ts13/teahouse.png", "note": "" },
{ "order": 2, "id": "host_portrait", "type": "image", "role": "主持人立绘(Subject 1 外观来源)", "url": "<OSS>/h3_v3_ts13/host_face.png", "note": "用 pack:portrait_real_face 版" },
{ "order": 3, "id": "teapot_prop", "type": "image", "role": "道具特写(Subject 2 来源)", "url": "<OSS>/h3_v3_ts13/teapot.png", "note": "" },
{ "order": 4, "id": "brand_cut", "type": "video", "role": "剪辑节奏来源", "url": "<OSS>/h3_v3_ts13/brandcut.mp4", "note": "" }
],
"raw_brief": "国潮茶饮 TVC 12 秒:参考素材四件——①茶馆实景图(首帧构图锚点)②主持人立绘(只用它定义人物长相与服装)③一把紫砂壶道具特写图(茶艺环节要出现)④一段既有品牌短片(只取它的剪辑节奏与镜头切换方式)。参考图地址一律用线上 OSS 原链,不要下载转存。",
"why_this_mode": "url 资产层专项场景(验收覆盖第 1 项):素材形态最全(锚点图/立绘/道具/参考视频),专测 C1 两层分离与资产层义务。判据几乎全部有官方依据,仅收口细则为内部规范。",
"scoring_points": [
"D7 / 资产层义务:四条素材的原 url(OSS 原链)全部原样进 conditions[].uri/references,不下载不改链;数组顺序 = 菜单顺序 1→2→3→4 = 自动编号顺序([A] README.md:272 + chat_template.json 机制;细则 B)",
"D7 / 反向检查:任何 url 都不出现在正文提示词文本里(D9 档 2 同步盯防)",
"D1 / C1 落位:teahouse_scene 独立 `<Picture 1>` 锚点定义;host 立绘与 teapot 道具各绑一个 `<Subject N>` 并在定义句内以 `<Picture 2>`/`<Picture 3>` 序号内联引用;brand_cut 走 `<Video 1>`;每个素材序号都被认领、无幽灵编号([A] ref-en.txt:62/:68/:37 + [C] 幽灵编号禁令)",
"D1 / 边界规则:teapot 是道具也走 Subject(objects 属于可复用可见内容,[A] ref-en.txt:43),不另造 object 类标签(D9 档 2 若出现)",
"D9 / 词法纪律:正文只允许 `<Subject/Picture/Video/Audio N>` 与 `(Sx)`;Picture 定义条目只需覆盖真正的锚点图,立绘/道具不做 Picture 条目不算缺段([A] ref-en.txt:68)"
]
},
{
"id": "TS-14",
"mode": "T2VA(多镜头剧情)",
"difficulty": "困难",
"expected_outcome": "prompt",
"raw_brief": "故事情节(请严格照此分镜,不要改动情节):明代夜市,书生李慕白先在灯摊前驻足看一盏兔子灯;接着他转身走到桥边,遇上卖花少女阿禾,阿禾递给他一支白梅;最后两人并肩走向集市深处。台词两句都是我给的原文,一字不要动:第一句李慕白说'借问姑娘,这梅几钱?';第二句阿禾答'郎君说笑了,拿去吧。'。总时长 9 秒左右,麻烦拆成三个镜头。",
"why_this_mode": "master 需求 3 专项:给定完整故事情节 + 原语言台词 → 产生多个 Shot 的新分镜,验证原情节不被改写、台词逐字保真。同时承载人物出场过程与道具跨镜头连续两条内部增强判据(上轮盲区⑤⑥)。出处分级:情节保真判据为 B/C(官方只有相邻条款 base-en.txt:172 与 ref-en.txt:207),出场过程半 A 半 B,道具连续为 B —— 本场景所有相关判据在评分记录里必须如实标级。",
"scoring_points": [
"D6 / 情节保真 [B/C,非官方逐字]:三镜头依次呈现'灯摊—桥边遇阿禾—并肩走向深处',不得改写情节走向、不得新增动机/结局/关系变化(如擅自加'阿禾其实认得他''两人就此分别'之类);可在每个镜头内补低风险可拍摄细节(灯笼光晕、衣摆、摊贩叫卖声)",
"D5 / 口径 V 双句([A] base-en.txt:129):两段台词逐字进入各自的 `<d>[Chinese] ...</d>`,原句自带问号与句号都必须原样保留,不得增删或统一化处理",
"D5 / 编号稳定性预演 [A] base-en.txt:127:李慕白与阿禾都发声 → 各得 (S1)/(S2),且按实际发声事件顺序分配(第一句发声者 = S1);要求同一角色在后续镜头复用同一 ID",
"D6 / 出场过程 [A+B]:李慕白首次清晰出现时描述位置与当前动作([A] ref-en.txt:246);镜头间移动(灯摊→桥边)要有过渡交代,不得凭空换位(后半句为内部规范)",
"D6 / 道具连续 [B]:白梅从阿禾手中交出后在最后一个镜头仍在李慕白手上,不得跨镜头跳变消失;兔子灯只留在第一镜不必跨镜延续,若延续须位置一致",
"D6 / Shot 结构 [v2继承]:三镜头 Shot 编号连续、切镜时间戳无重叠无间隙、每镜单一主导运镜",
"D4:夜市氛围用具体光影(灯摊暖光、桥下水痕反光)描写而非'古韵盎然'类堆砌词"
]
},
{
"id": "TS-15",
"mode": "T2VA(双说话人)",
"difficulty": "中等",
"expected_outcome": "prompt",
"raw_brief": "厨房里两个人斗嘴的短片 6 秒:姐姐端着锅铲说'火太大了,退后一点!',弟弟不服气回嘴'明明是你先开的火!',然后两人一起喊'让开让开!',紧接着镜头切回灶台,弟弟一个人小声嘀咕了一句'下次我先来。'。三人之外的邻居大爷全程路过没说话。",
"why_this_mode": "双说话人编号稳定专项(上轮盲区①,evolve_report_v2 §5.4 未触发清单第一条):覆盖起号分配、合并 ID、单人重复发声、无声者不给 ID 四种情况,全都有官方逐字条款支撑。",
"scoring_points": [
"D5 / ID 分配顺序 [A] base-en.txt:127 + ref-en.txt:278:按目标视频中实际发声事件顺序分配一次 —— 姐姐=(S1)、弟弟=(S2);同一人在后续镜头沿用同一 ID,不得重号或交换",
"D5 / 合并 ID [A] base-en.txt:127:两人齐声喊的那次用复合 ID `(S1,S2)`,不得只写一人或不写",
"D5 / 无声者无 ID [A] base-en.txt:127:路过的邻居大爷从不发声 → 不得给他 (S3) 或任何说话人 ID",
"D5 / 单人重复发声与画外衔接 [A] ref-en.txt:266:切回灶台后弟弟嘀咕那句若是画面外发声,须标记 off-screen 并保持与之前相同的形式;on-screen 时正常书写",
"D5 / `(Sx)` 位置纪律 [A] ref-en.txt:278:`(Sx)` 出现在 detailed_description 与 Speaker 定位语中,不写入 retention_analysis;subject 发声时写作 `<Subject N> (Sx)`",
"D2/D9:字段齐全、格式正确、无占位符"
]
},
{
"id": "TS-16",
"mode": "Ref2VA(音频锚定)",
"difficulty": "困难",
"expected_outcome": "prompt",
"asset_menu": [
{ "order": 1, "id": "street_dance_clip", "type": "video", "role": "舞者形象与动作来源", "url": "<OSS>/h3_v3_ts16/dancer.mp4", "note": "" },
{ "order": 2, "id": "rapper_voice", "type": "audio", "role": "男声歌手音色来源,对应目标视频中的男主唱", "url": "<OSS>/h3_v3_ts16/rapper_voice.mp3", "note": "" },
{ "order": 3, "id": "chorus_voice", "type": "audio", "role": "女声和声音色来源,对应目标视频中的女和声(不出现在画面中)", "url": "<OSS>/h3_v3_ts16/chorus.mp3", "note": "" }
],
"raw_brief": "街舞主题曲 MV 10 秒:参考素材三件——一段已有的街舞视频(取舞者形象与动作风格)、一段男声人声干声(要做 MV 主唱的音色参照)、一段女声和声干声(做第二段落的和声音色参照)。男主唱要在画面中出现并由这段男声开口唱歌,女和声在副歌部分加入但不出现她的画面。",
"why_this_mode": "音频类素材 Audio N 锚定专项(上轮盲区②,evolve_report_v2 §5.4 明确指出 12 个场景素材全是图/视频、没有任何 audio 类素材):覆盖 speaker 绑定、全局 ID 复用、Video/Audio 独立编号、'普通视频含声不自动生成 Audio N' 四条官方条款。",
"scoring_points": [
"D1 / Audio 定义与 speaker 绑定 [A] ref-en.txt:100:`<Audio 1>` 定义写明对应目标说话人并以 `<Subject N> (Sx)` 形式绑定(如 `<Audio 1> is the voice-timbre reference for <Subject 2> (S1)…`);女和声无对应在场主体时用稳定的声音描述 + `(Sx)` 而不是硬套 Subject 序号",
"D1 / ID 全局唯一 [A] ref-en.txt:100:音频定义里的 `(Sx)` 沿用目标视频的全局说话人顺序,不得在音频定义处独立重新编号(例如主唱在画面内已经领了 (S1),音频定义就用 (S1))",
"D1 / Video/Audio 编号独立 [A] ref-en.txt:110:`<Video 1>` 与 `<Audio 1>/<Audio 2>` 各按自己类别计数,不用序号强行配对;street_dance_clip 含有人声也不因此生成额外的 Audio N([A] ref-en.txt:112)",
"D7 / 职责声明 + 资产层 [v3 A+B]:三条素材职责各不相同(形象动作/主唱音色/和声音色),url 逐张保留且顺序 = 菜单顺序 1→2→3,audio 条目进资产层不在正文里贴链接",
"D5 / 歌唱事件编号一致性:男声唱段的所有 `(Sx)` 与前面分配保持一致;若音频内某段听不清,口径 R 下写 `[unclear]` 不得猜写([A] ref-en.txt:274)"
]
},
{
"id": "TS-17",
"mode": "T2VA(画外音)",
"difficulty": "中等",
"expected_outcome": "prompt",
"raw_brief": "30 秒怀旧短片:画面里一位老人独自坐在窗边整理旧照片,全程他没有开口,画外传来他的独白——'那年这条路还没有修好。'(这句是我给的原文,一字别动)。之后有一段年轻时的回忆画面,回忆里那位年轻人是他自己,嘴里念着同一句话的一部分:'这条路……'",
"why_this_mode": "画外音专项(上轮盲区④):官方对 voiceover 有固定短语 + 唇部闭合声明的硬性形式要求,正好检验 agent 是否掌握这条易漏的形式纪律。",
"scoring_points": [
"D5 / 固定短语与唇部闭合 [A] base-en.txt:136/:139:老人画外独白使用精确短语 'says in an off-screen voiceover',并在该 `<d>` 块之后立刻声明他在场形象嘴唇保持闭合(如 while his lips remain completely closed),不得只写 'voiceover' 或写成普通说白",
"D5 / off-screen 复现形式 [A] ref-en.txt:266:回忆片段里同一人物的画外发声同样标 off-screen 并保持与第一次一致的形式;回忆中的年轻人若张口念出则按 on-screen 书写、另按其发声顺序获得自己的说话人 ID",
"D5 / 口径 V [A] base-en.txt:129:'那年这条路还没有修好。'逐字保真(句号必须保留);回忆里截断的'这条路……'省略号同样逐字保留,不得替用户补完整句或改成规范省略号",
"D5 / `(Sx)` 分配 [A] base-en.txt:127:画外发声也算 vocal event,参与全局 ID 顺序分配;若涉及两个声音则保持各自稳定 ID",
"D6:静止坐姿 + 回忆闪回的运镜切换交代清楚,不与'老人一动不动'产生矛盾表达"
]
},
{
"id": "TS-18",
"mode": "Ref2VA(标点双口径混合)",
"difficulty": "困难",
"expected_outcome": "prompt",
"asset_menu": [
{ "order": 1, "id": "coffee_shop_bg", "type": "image", "role": "场景氛围来源(weak_reference,不入帧)", "url": "<OSS>/h3_v3_ts18/cafe.png", "note": "" },
{ "order": 2, "id": "barista_song", "type": "audio", "role": "参考音频:店内循环歌里的一句歌词,需要在片中重新演唱(reperformance)", "url": "<OSS>/h3_v3_ts18/barista_line.mp3", "note": "该句歌词在音频里唱作『今天的拿铁~~ 真滴好好喝(ง •̀_•́)ง✧!!!』——用户明确要求主角重新唱一遍这句话" }
],
"raw_brief": "咖啡店宣传片 6 秒:主角是店里那位戴口罩的咖啡师,他一边拉花一边对着镜头唱出店内循环歌里的那一句歌词(音频里就是这种写法:今天的拿铁~~ 真滴好好喝(ง •̀_•́)ง✧!!!),然后举杯向镜头示意。另外结尾字幕需要打出一行顾客评价原文,内容是我在聊天框里发你的这句:'今天这杯真不错' —— 这一句是我的原文,标点也别动。",
"why_this_mode": "标点双口径的核心判别样本(C2):同一产出台词混着两类来源 —— 从参考音频复用并要求 reperformance 的歌词(口径 R,要求标准化清理装饰标点并补终止符)与用户直接提供的评价文本(口径 V,要求一字一标点 verbatim)。同时也验证[unclear] 规则:标准答案是 R 侧标准化 + V 侧保真并存;若 agent 对两类用同一口径处理(要么都对歌词装饰符号保真、要么都规范化评价文本),即暴露未理解作用域。反向校验基准本身的判别力。",
"scoring_points": [
"D5 / 口径 R [A] ref-en.txt:274:歌词为参考音频直接复用且输入明确要求 reperformance → 保留源词与原语言('真滴好好喝'不得改成'真的很好喝')、听不清处写 `[unclear]`;标点标准化为基础书面标点,删除波浪号 ~~、颜文字 (ง •̀_•́)ง✧、emoji 与重复感叹号;完整陈述句在 `</d>` 前补终止符(此句为感叹语义,落在 ! 上)",
"D5 / 口径 V [A] base-en.txt:129:'今天这杯真不错'为用户在本次输入中直接提供 → 进入可见字幕文案或提示词正文时逐字保留,**不得因为写了 R 口径就顺手给它补句号或加装饰符号**(双向混用的典型错误)",
"D5 / 混合判定纪律 [B 本基准裁决]:两种口径在同一产出中并行成立,逐句适用;口径选择依据台词来源而非 '看起来更规范' 的直觉",
"D5 / 反向校验:若产出口径颠倒 —— 给歌词做全量 verbatim 保留(连颜文字一起进 `<d>`)、同时给评价文本补了句号 —— 则两条各记档 2,触发 D5 上限 75",
"D1 / weak_reference [A] ref-en.txt:168:coffee_shop_bg 仅取氛围 → 作 weak_reference 来源处理,不另起 Picture 定义条目;它的序号仍须在某条 Subject 定义中被认领(内联引用),不得成为幽灵编号"
]
}
],
"coverage_summary": {
"scenario_count": 18,
"track_split": {
"prompt_track": ["TS-01", "TS-02", "TS-03", "TS-04", "TS-05", "TS-06", "TS-07", "TS-08", "TS-10", "TS-11", "TS-13", "TS-14", "TS-15", "TS-16", "TS-17", "TS-18"],
"block_track": ["TS-09", "TS-12"]
},
"modes_covered": [
"T2VA 及多镜头/双说话人/画外音变体 (x6: TS-01, TS-10, TS-11, TS-14, TS-15, TS-17)",
"I2VA (x1: TS-02)",
"FL2VA (x1: TS-03)",
"L2VA (x1: TS-04)",
"Ref2VA (x6: TS-05, TS-06, TS-09, TS-12, TS-13, TS-16)",
"Ref2VA 标点双口径混合 (x1: TS-18)",
"信息不足边界 (x1: TS-07)",
"矛盾指令边界 (x1: TS-08)"
],
"difficulty_distribution": { "基础": 3, "中等": 5, "困难": 8, "边界": 2 },
"required_coverage_checklist": {
"Ref2VA 带 url 资产": ["TS-09", "TS-12", "TS-13"],
"多镜头剧情保真(master 需求 3)": ["TS-14"],
"双说话人 (S1)/(S2) 跨镜稳定 + 合并 ID": ["TS-14", "TS-15"],
"音频类素材 Audio N 锚定含 speaker 绑定": ["TS-16"],
"画外音 off-screen voiceover": ["TS-17"],
"标点双口径 · V(verbatim)": ["TS-09", "TS-11", "TS-14", "TS-17"],
"标点双口径 · R(standardize + reperformance)": ["TS-16", "TS-18"],
"painted_skin_room 真实样例整体纳入": ["TS-09"],
"已知会失败的判别样本": ["TS-09", "TS-18"],
"JSON 通道可解析性(内部规范,出处如实标注)": ["全部场景", "TS-13 显式附 url 断言"]
},
"provenance_discipline_note": "上轮三项无官方逐字条款的判据在本批场景中的标注落实:JSON 序列化通道可解析性 → 所有 scoring_points 中凡涉及 JSON 的表述均已标'内部工程规范';人物出场过程 → TS-14 标'A+B'(前半官方 ref-en.txt:246、后半内部);道具跨镜头跳变 → TS-14 标'B 内部增强'。不得在任何交付物中把这三种转述为官方规则。",
"note_on_split": "18 条全部可用于 test(样本量仍然偏小,暂不做 train/test 切分)。下一轮 Evolve 首跑后优先用 TS-13~TS-18 的真实产出回填 train 集:它们对应的判据(资产层、幽灵编号、双说话人、音频锚定、画外音、标点双口径)此前从未被执行过,属构造性设计,只有拿到真实产出才能把'未知基线'替换成实测分布。"
}
}