test_scenarios_v2.json
18.4 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
{
"version": "v2",
"generated_by": "innovator-digest",
"date": "2026-08-26",
"based_on_feedback": "conv-mtabpqx9 eval 6/10",
"note": "评分对象是 h3-video-prompt agent 针对每条创意描述产出的最终提示词(或阻塞报告,见 benchmark_v2.md §3.3),按 benchmark_v2.md 的 9 维度(D1-D9)打分。v2 在 v1 的 TS-01~TS-08 基础上新增 TS-09(真实生产场景复现:素材阻塞+对白保真+光源冲突+剧情推断)、TS-10(明确无声/无配乐的 N/A 精确条件覆盖)、TS-11(带标点对白的逐字保真,与 TS-09 反向验证)、TS-12(多种禁用 note 类型的区分处理)。",
"scenarios": [
{
"id": "TS-01",
"mode": "T2VA",
"difficulty": "基础",
"raw_brief": "帮我拍个开箱视频,就是纯手办开箱,没有别的素材。",
"why_this_mode": "无任何参考图/视频/音频输入,纯文本原创场景,对应官方 T2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应正确识别为无参考素材的原创场景(T2VA),不应臆造出并不存在的参考图关键帧锚定写法",
"D8(扩写边界):主体(什么手办/什么材质外观)、时长、情绪基调均缺失,是否合理一次性反问而非直接自由发挥编造具体手办",
"D4:开箱这类近景特写场景最容易堆砌'精致/高级感'类空词,重点看材质光影是否具体化(塑料反光/包装纸质感等)",
"D9:integrated_multimodal_description / overall_soundscape / non_diegetic_music 三字段齐全且顺序正确,无 schema 外字段或解释文字"
]
},
{
"id": "TS-02",
"mode": "I2VA",
"difficulty": "基础",
"raw_brief": "这是我们奶茶新品的一张海报图,想让它'动起来',杯子转个圈然后倒出奶茶的效果。",
"why_this_mode": "以一张首帧图像为起点展开叙事,对应官方 I2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应识别为 I2VA,画面描述从参考图的静态状态开始展开动作,而不是当作 Ref2VA 或凭空重新构图",
"D9:I2VA 起始指令行 `For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.` 必须出现且 `<Picture 1>` 编号正确,无残留占位符",
"D2:integrated_multimodal_description 是否明确交代'从参考图状态 → 转圈 → 倒出'的时间线三段",
"D6:转圈+倒出是否被处理成合理的单一或分镜头运镜,不要塞进互相矛盾的运镜指令"
]
},
{
"id": "TS-03",
"mode": "FL2VA",
"difficulty": "中等",
"raw_brief": "有一张女生站在门口的照片和一张她已经走进屋里坐下的照片,想要中间的过渡动画,15秒。",
"why_this_mode": "首尾两帧图像,描述两帧之间的连续运动路径,对应官方 FL2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应正确标注两张参考图各自的时间戳(起始 0.00s / 结束 15s 附近),不能只处理其中一张当 I2VA",
"D1/D6:不得把首尾帧场景当 Ref2VA 处理(首尾帧模式与全参考模式混用是 knowhow §6 明确列出的新增错误)",
"D9:FL2VA 指令行中 N / S.SS 是否已替换成具体数值(如 `Picture 2 (from Shot 1) aligns with the 15.00-second mark`),无残留 `Shot N` / `S.SS` 字面占位符(evolve SKILL.md §3.1 硬规则)",
"D4/D8(扩写边界):'走进屋里坐下'这个中间过程是否具体描述了运动路径,可补低风险可拍摄细节(脚步、门框、坐下动作),但不得擅自添加剧情(如'她心情低落地')"
]
},
{
"id": "TS-04",
"mode": "L2VA",
"difficulty": "中等",
"raw_brief": "只有一张最后定格的照片——男人站在悬崖边看着日出,我要一段到达这个画面之前发生了什么的视频。",
"why_this_mode": "仅有尾帧图像,需要反推出到达尾帧之前发生了什么,对应官方 L2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应识别为 L2VA,产出的动作序列是'反推出的过程',而不是简单复述尾帧画面本身",
"D8(扩写边界):反推的前置过程应限定在低风险可拍摄动作(登山/开车抵达/徒步),不得擅自添加改变人物命运的高风险剧情(如'他刚与家人决裂'这类无依据关系/情绪结论)",
"D4:反推的动作是否具体展开三段式(起始-过程-结束正好停在参考图状态),而非模糊带过",
"D6:镜头运镜是否呼应'逐渐抵达/接近悬崖'的叙事方向,不与静态定格画面的机位矛盾"
]
},
{
"id": "TS-05",
"mode": "Ref2VA",
"difficulty": "困难",
"raw_brief": "帮我做条产品发布短视频:15秒,参考素材是一张我们智能手表的产品图和一段之前拍好的代言人口播视频片段,想要代言人抬手展示手表的镜头,手表外观和之前口播视频里的人物形象都要保持一致,风格科技感但不要浮夸。",
"why_this_mode": "两个不同类型参考素材(1图+1视频)驱动的多主体一致性场景,是官方 Ref2VA 的典型用例(knowhow §1.1),也是 baseline_target.md 的构造性反事实样本原型。",
"scoring_points": [
"D1(核心):subject_definitions 是否分别声明'手表'和'代言人'两个主体,summary/retention_analysis 是否点名必须跨镜头保持一致的具体特征(表盘图案/logo角度/人物五官发型)",
"D7:两个参考素材是否分别声明各自职责(谁负责外观锚定/谁负责人物形象锚定),避免'参考素材未声明职责就堆叠使用';素材 note 是否被预检",
"D4:'科技感但不要浮夸'是否被转译成具体光影/材质描述,而不是直接照抄'科技感'三个字当质量词",
"D9:references 顺序与 `<Picture N>` 完全对应;产品图/口播视频作为 Subject 来源绑定,不另起冗余 Picture 条目"
]
},
{
"id": "TS-06",
"mode": "Ref2VA",
"difficulty": "困难",
"raw_brief": "我们有3张不同角度的球鞋产品图和1段之前拍的街舞视频片段,想做一条球鞋广告,球鞋要和视频里舞者脚上穿的鞋型号一致,风格潮流街头。",
"why_this_mode": "3图+1视频混合参考,比 TS-05 素材数量更多,测试多素材场景下字段/职责声明是否会随复杂度上升而漏项。",
"scoring_points": [
"D1:3张产品图是否被当作同一主体的多角度参考合并进一个 subject_definitions 条目,而不是被误拆成3个不同主体",
"D7:街舞视频片段是否声明了职责(动作/节奏来源),与 3 张产品图(外观来源)职责不重叠",
"D3:街头氛围声音设计(脚步/环境噪音/音乐节奏)是否具体且卡点位置明确,不能只写'有街头氛围的音乐';无需配乐时显式写 N/A",
"D6:多镜头之间的时间戳是否连续衔接,不出现重叠或间隙(knowhow §6 inreels.ai 来源的新增错误)"
]
},
{
"id": "TS-07",
"mode": "待定(信息不足)",
"difficulty": "边界",
"raw_brief": "给我做个视频。",
"why_this_mode": "刻意极度欠定义,用于验证现有 SKILL.md 已有的 Step0 一次性反问机制在训练后是否被保留,不会被新增的模式判断体系挤掉。",
"scoring_points": [
"D8(扩写边界):是否一次性列出全部缺失的关键信息(主体/场景/动作/情绪/时长/是否需要参考素材)反问用户,而不是自行编造一个具体场景往下写——信息不足时臆造属于 D8 档 2 违规",
"D1:反问时是否已经能大致判断'如果用户提供参考素材会走哪个模式',为后续追问做好准备,而不是等用户回复后才现想",
"D9:反问产出是否符合交付形态——不应伪造一个看似合规的 JSON 提示词来假装完成(若 schema 无反问通道,应明确说明信息不足)",
"不应出现'假装读过飞书标杆文档'或编造标杆水平的产出(对应 agent.md Never Rules)"
]
},
{
"id": "TS-08",
"mode": "待定(矛盾指令)",
"difficulty": "边界",
"raw_brief": "帮我写个视频提示词,镜头要一直推进,但同时环绕主体转一圈,8K电影感,越震撼越好。",
"why_this_mode": "用户原话本身包含矛盾运镜指令和典型空洞质量词,用于测试 D6/D4/D8 三个维度在'用户自己就给了错误示范'时的纠偏能力。",
"scoring_points": [
"D6:是否识别出'推进+环绕'是矛盾的主导运镜,拆成多镜头结构分别处理或明确取舍(evolve SKILL.md §10.2 两种处理方式二选一),而不是原样塞进一个镜头描述里",
"D4:'8K电影感''越震撼越好'是否被转译成具体的光影/运镜力度描述,而不是照抄进最终提示词",
"D8(扩写边界):用户说的'越震撼越好'是元指令,不能直接照搬(knowhow §6 '元指令代替具体描述');是否在交付说明里写清楚采用了哪种取舍及理由",
"D9:拆镜后 Shot 编号与时间戳是否连续合理"
]
},
{
"id": "TS-09",
"mode": "Ref2VA(I2VA 混合)",
"difficulty": "困难",
"raw_brief": "场景设定:中式古风恐怖,一间昏暗旧屋,油灯是唯一光源,五扇雕花屏风立在房间中央。NPC:屏风后是一位身穿白色古装的神秘女子(画皮女),面容精致但透着不自然的苍白。玩家:男主角是身穿深色长袍的古代捕快,腰间佩刀,面容刚毅。参考图菜单:scene(场景参考:昏暗旧屋,五扇雕花屏风,圆石面桌上一支蜡烛,右侧罗汉床,墙上挂轴;note:右下角烤着「AI生成」水印和飞书角标,会被模型学进成片,出片前必须换成洗过的版本——但输入菜单里没有清洗版);npc(NPC 立绘:白衣古装女子三视图+面部特写+服饰细节;note:带真脸那一版才准,别用 model_sheet 版);player(玩家立绘:深色长袍捕快,腰牌「捕」、佩刀、皂靴、黑头巾;note:带真脸那一版才准,别用 constable_model_sheet 版)。主体定义:<Subject 1>白衣古装女子(绑定 NPC 立绘);<Subject 2>深色长袍捕快(绑定玩家立绘)。立绘绑定规则:立绘只用来定义人物,不另起 <Picture N> 条目;只有场景图是构图锚点,单独成条;references 顺序 scene → npc → player。要拍的意图:你出去看看。",
"why_this_mode": "从真实生产场景 conv-mtabpqx9「你出去看看」提取的原型输入(feedback_eval.md「受评测的真实场景 b 输入」),复现 v1 六维度未覆盖的全部 6 类失败模式中的 4 类(素材阻塞、对白逐字保真、光源冲突最小改动、无高风险剧情推断),是最关键的判别样本:正确行为是报告阻塞而非静默引用带水印素材。",
"scoring_points": [
"D7(素材阻塞,核心):scene 图 note 明确带'AI生成'水印+飞书角标、出片前必须换清洗版,而输入无清洗版可用 → 正确行为是报告阻塞(缺可用 scene 参考),不得静默引用带水印素材进 references;若输出 schema 无错误通道,必须明确说明 schema 与素材要求不可同时满足(benchmark_v2.md §3.3)",
"D5(对白逐字保真):意图'你出去看看'原句无句号,必须逐字进 `<d>[Chinese] 你出去看看</d>`,不得擅自补'。'或改写(feedback_eval 问题 1 的反例是 `[Chinese] 你出去看看。`)",
"D8(光源冲突最小改动):'油灯是唯一光源'与 scene 图中'燃烧的蜡烛'冲突 → 按冲突优先级以最小改动解决(蜡烛保留但写明未点燃),不得同时写成两个发光源,也不得直接删掉蜡烛",
"D8(无高风险剧情推断):用户只给一句台词,女子说完后的反应须保持中性、短暂、开放(如轻微转头/衣袖移动/画面停在她反应上),不得自行决定她拒绝/服从/离开(feedback_eval 问题 3 的反例)",
"D9:references 顺序 scene→npc→player 与 `<Picture 1/2/3>` 完全对应;立绘仅作 Subject 来源绑定,不另起 Picture 条目",
"D1:模式识别为 Ref2VA(scene/npc/player 三素材 + 主体定义 + 立绘绑定规则),subject_definitions / summary / retention_analysis 三字段齐全且内容具体"
]
},
{
"id": "TS-10",
"mode": "T2VA",
"difficulty": "基础",
"raw_brief": "做条 8 秒的极简空镜视频,画面是一杯茶在窗边慢慢降温,注意:这条视频不需要背景音乐,也不需要任何环境音,保持全程完全安静。",
"why_this_mode": "补上 evolve_report 4.4 明确标记的判据覆盖缺口——'N/A 精确条件从未被任何场景触发':overall_soundscape 只在用户明确要求全程完全静音时才写 N/A,non_diegetic_music 无配乐时必须显式写 N/A(evolve SKILL.md §7)。这是唯一让该规则可被实际触发/验证的场景类型。",
"scoring_points": [
"D3(核心):用户明确要求全程完全静音 → `overall_soundscape` 应写 N/A(evolve SKILL.md §7 精确条件),而不是写'轻微环境底噪',也不是留空不写",
"D3:`non_diegetic_music` 无配乐时必须显式写 N/A,不能留空/不提该字段(留空会被模型理解为自由发挥,knowhow §5 fal.ai 来源)",
"D3/D9:不得因为'没什么特别的声音'就把 overall_soundscape 简单留空或错误标 N/A(对照 evolve_report 4.4:即使环境声轻微也要具体描述);声音两字段在机械校验层面都已显式处理",
"D4:'极简'不能当空词挡箭牌——画面(茶的蒸汽、窗边光线、杯壁水珠)仍要具体到光源+位置+效果"
]
},
{
"id": "TS-11",
"mode": "T2VA",
"difficulty": "中等",
"raw_brief": "拍个 5 秒恐怖短片:昏暗走廊尽头站着一个穿白裙的小女孩,她说'别过来!',就这一句台词。",
"why_this_mode": "与 TS-09(无句号台词被擅自加句号)互为反向验证:用户台词原样带感叹号,测试逐字保真是否连标点一起保留、不擅自删/改/补标点(feedback_eval 问题 1 '不擅自添加句号、感叹号或省略号'的双向落点)。",
"scoring_points": [
"D5(核心):台词原文带感叹号,必须逐字保留 `<d>[Chinese] 别过来!</d>`,不得删掉感叹号、不得改写'别过来'、不得补其他标点(与 TS-09 的'无句号不被加'互为反向验证)",
"D5:(S1) 发声者编号稳定,首次出现时在 `<d>` 外给出身份/音色特征,说话方式写在 `<d>` 外",
"D8(无高风险剧情推断):用户只给一句台词,女孩说完后的反应/镜头落点保持中性、短暂、开放,不得自行决定'她扑向镜头'或'男孩被吓跑'等后续剧情",
"D4:恐怖氛围用具体光影/环境声描写(走廊尽头唯一光源、脚步声、裙摆摩擦声),不用'很恐怖/惊悚'堆砌词"
]
},
{
"id": "TS-12",
"mode": "Ref2VA",
"difficulty": "困难",
"raw_brief": "做条 10 秒产品演示短片,参考素材三张图:A 是我们产品图(note:右下角有水印,出片前必须换成清洗版,但这次菜单里没有清洗版);B 是代言人立绘(note:带真脸那版才准,别用 model_sheet 版,菜单里两版都有);C 是拍摄场景参考(note:无特殊要求)。",
"why_this_mode": "把 feedback_eval 问题 2 的素材预检从'单一水印阻塞'扩展到'多种禁用 note 类型 + 部分素材有替代/部分没有'的区分处理:A 无替代 → 阻塞;B 有替代 → 必须选对版本;C 正常 → 正常引用。测试 agent 不是一刀切全部阻塞或全部静默引用。",
"scoring_points": [
"D7(核心):区分处理三类 note——A 是必需素材且无可用替代 → 必须报告阻塞/说明缺可用清洗版;B 有可用替代(带真脸版)→ 必须选择正确版本而不是引用 model_sheet 版;C 无限制 → 正常引用;不得无差别堆叠",
"D7:正确行为只对必需且不可替代的素材报阻塞,对有替代的素材完成替代选择——既不能一刀切全部阻塞,也不能为凑输出静默引用带水印的 A",
"D9:references 顺序与 `<Picture N>` 完全对应;B/C 作为 Subject 来源绑定,不另起冗余 Picture 条目",
"D2:Ref2VA 六字段(subject_definitions / summary / retention_analysis / detailed_description / overall_soundscape / non_diegetic_music)齐全且顺序正确"
]
}
],
"coverage_summary": {
"modes_covered": [
"T2VA (x3: TS-01, TS-10, TS-11)",
"I2VA (x1: TS-02)",
"FL2VA (x1: TS-03)",
"L2VA (x1: TS-04)",
"Ref2VA (x4: TS-05, TS-06, TS-09, TS-12)",
"信息不足边界 (x1: TS-07)",
"矛盾指令边界 (x1: TS-08)"
],
"difficulty_distribution": {
"基础": 3,
"中等": 3,
"困难": 4,
"边界": 2
},
"failure_mode_coverage": {
"F1 对白逐字保真与 <d> 格式": "TS-09(无句号不加句号)+ TS-11(带感叹号保留感叹号)",
"F2 素材可用性预检与阻塞报告": "TS-09(单一水印阻塞)+ TS-12(多种 note 类型区分)",
"F3 输入冲突解决": "TS-09(油灯唯一光源 vs 燃烧蜡烛的最小改动)",
"F4 意图忠实与扩写边界": "TS-09(一句台词不得自定剧情)+ TS-04/TS-11(低风险 vs 高风险推断)",
"F5 镜头语言一致性": "TS-08(矛盾运镜拆镜)+ TS-02/TS-03/TS-06(运镜与时间戳一致性)",
"F6 输出前机械校验": "全部场景(references 对应、占位符解析、JSON 可解析等结构性检查)"
},
"note_on_split": "12 条全部可用于 test(首次评测校准阶段样本量小,暂不做 train/test 切分;后续 Evolver 训练积累真实产出后,优先用 TS-09/TS-10/TS-12 的真实产出结果补充 train 集——这三条是 v2 新判据(素材阻塞、N/A 精确条件、note 类型区分)的首次真实执行记录,价值最高)"
}
}