test_scenarios.json
7.8 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
{
"version": "v1",
"generated_by": "innovator-digest",
"date": "2026-08-25",
"note": "评分对象是 h3-video-prompt agent 针对每条创意描述产出的最终提示词,按 benchmark_v1.md 的 6 维度打分。创意描述均为刻意欠定义的模糊真实用户输入,不是已经结构化好的规格。",
"scenarios": [
{
"id": "TS-01",
"mode": "T2VA",
"difficulty": "基础",
"raw_brief": "帮我拍个开箱视频,就是纯手办开箱,没有别的素材。",
"why_this_mode": "无任何参考图/视频/音频输入,纯文本原创场景,对应官方 T2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应正确识别为无参考素材的原创场景(T2VA),不应臆造出并不存在的参考图关键帧锚定写法",
"Step0 信息收集:主体(什么手办/什么材质外观)、时长、情绪基调均缺失,是否合理反问而非直接自由发挥",
"D4:开箱这类近景特写场景最容易堆砌'精致/高级感'类空词,重点看材质光影是否具体化(塑料反光/包装纸质感等)"
]
},
{
"id": "TS-02",
"mode": "I2VA",
"difficulty": "基础",
"raw_brief": "这是我们奶茶新品的一张海报图,想让它'动起来',杯子转个圈然后倒出奶茶的效果。",
"why_this_mode": "以一张首帧图像为起点展开叙事,对应官方 I2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应识别为 I2VA,画面描述从参考图的静态状态开始展开动作,而不是当作 Ref2VA 或凭空重新构图",
"D2:integrated_multimodal_description 是否明确交代'从参考图状态 → 转圈 → 倒出'的时间线三段",
"D5:转圈+倒出是否被处理成合理的单一或分镜头运镜,不要塞进互相矛盾的运镜指令"
]
},
{
"id": "TS-03",
"mode": "FL2VA",
"difficulty": "中等",
"raw_brief": "有一张女生站在门口的照片和一张她已经走进屋里坐下的照片,想要中间的过渡动画,15秒。",
"why_this_mode": "首尾两帧图像,描述两帧之间的连续运动路径,对应官方 FL2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应正确标注两张参考图各自的时间戳(起始 0.00s / 结束 15s 附近),不能只处理其中一张当 I2VA",
"D6:是否误把这个场景当 Ref2VA 处理(首尾帧模式与全参考模式混用是 knowhow §6 明确列出的新增错误)",
"D4:'走进屋里坐下'这个过程动作是否具体描述了中间的运动路径,而非直接跳接两张静态图"
]
},
{
"id": "TS-04",
"mode": "L2VA",
"difficulty": "中等",
"raw_brief": "只有一张最后定格的照片——男人站在悬崖边看着日出,我要一段到达这个画面之前发生了什么的视频。",
"why_this_mode": "仅有尾帧图像,需要反推出到达尾帧之前发生了什么,对应官方 L2VA(knowhow §1.1)。",
"scoring_points": [
"D1:应识别为 L2VA,产出的动作序列是'反推出的过程',而不是简单复述尾帧画面本身",
"D4:反推的动作(如登山/开车抵达/徒步)是否具体展开三段式(起始-过程-结束正好停在参考图状态),而非模糊带过",
"D5:镜头运镜是否呼应'逐渐抵达/接近悬崖'的叙事方向,不与静态定格画面的机位矛盾"
]
},
{
"id": "TS-05",
"mode": "Ref2VA",
"difficulty": "困难",
"raw_brief": "帮我做条产品发布短视频:15秒,参考素材是一张我们智能手表的产品图和一段之前拍好的代言人口播视频片段,想要代言人抬手展示手表的镜头,手表外观和之前口播视频里的人物形象都要保持一致,风格科技感但不要浮夸。",
"why_this_mode": "两个不同类型参考素材(1图+1视频)驱动的多主体一致性场景,是官方 Ref2VA 的典型用例(knowhow §1.1),也是 baseline_target.md 的构造性反事实样本原型。",
"scoring_points": [
"D1(核心):subject_definitions 是否分别声明'手表'和'代言人'两个主体,summary/retention_analysis 是否点名必须跨镜头保持一致的具体特征(表盘图案/logo角度/人物五官发型)",
"D6:两个参考素材是否分别声明各自职责(谁负责外观锚定/谁负责人物形象锚定),避免'参考素材未声明职责就堆叠使用'",
"D4:'科技感但不要浮夸'是否被转译成具体光影/材质描述,而不是直接照抄'科技感'三个字当质量词"
]
},
{
"id": "TS-06",
"mode": "Ref2VA",
"difficulty": "困难",
"raw_brief": "我们有3张不同角度的球鞋产品图和1段之前拍的街舞视频片段,想做一条球鞋广告,球鞋要和视频里舞者脚上穿的鞋型号一致,风格潮流街头。",
"why_this_mode": "3图+1视频混合参考,比 TS-05 素材数量更多,测试多素材场景下字段/职责声明是否会随复杂度上升而漏项。",
"scoring_points": [
"D1:3张产品图是否被当作同一主体的多角度参考合并进一个 subject_definitions 条目,而不是被误拆成3个不同主体",
"D3:街头氛围声音设计(脚步/环境噪音/音乐节奏)是否具体且卡点位置明确,不能只写'有街头氛围的音乐'",
"D6:多镜头之间的时间戳是否连续衔接,不出现重叠或间隙(knowhow §6 inreels.ai 来源的新增错误)"
]
},
{
"id": "TS-07",
"mode": "待定(信息不足)",
"difficulty": "边界",
"raw_brief": "给我做个视频。",
"why_this_mode": "刻意极度欠定义,用于验证现有 SKILL.md 已有的 Step0 一次性反问机制在训练后是否被保留,不会被新增的模式判断体系挤掉。",
"scoring_points": [
"是否一次性列出全部缺失的关键信息(主体/场景/动作/情绪/时长/是否需要参考素材)反问用户,而不是自行编造一个具体场景往下写",
"反问时是否已经能大致判断'如果用户提供参考素材会走哪个模式',为后续追问做好准备,而不是等用户回复后才现想",
"不应出现'假装读过飞书标杆文档'或编造标杆水平的产出(对应 agent.md Never Rules)"
]
},
{
"id": "TS-08",
"mode": "待定(矛盾指令)",
"difficulty": "边界",
"raw_brief": "帮我写个视频提示词,镜头要一直推进,但同时环绕主体转一圈,8K电影感,越震撼越好。",
"why_this_mode": "用户原话本身包含矛盾运镜指令和典型空洞质量词,用于测试 D5/D4/D6 三个维度在'用户自己就给了错误示范'时的纠偏能力。",
"scoring_points": [
"D5:是否识别出'推进+环绕'是矛盾的主导运镜,拆成多镜头结构分别处理或明确取舍,而不是原样塞进一个镜头描述里",
"D4:'8K电影感''越震撼越好'是否被转译成具体的光影/运镜力度描述,而不是照抄进最终提示词",
"D6:是否命中'元指令代替具体描述'这类新增错误(用户说的'越震撼越好'本身就是元指令,不能直接照搬)"
]
}
],
"coverage_summary": {
"modes_covered": ["T2VA", "I2VA", "FL2VA", "L2VA", "Ref2VA(x2)", "信息不足边界(x1)", "矛盾指令边界(x1)"],
"difficulty_distribution": { "基础": 2, "中等": 2, "困难": 2, "边界": 2 },
"note_on_split": "8 条全部可用于 test(首次评测校准阶段样本量小,暂不做 train/test 切分;后续 Evolver 训练积累真实产出后,按 knowhow §10 建议优先用 TS-05/TS-06 的真实产出结果补充 train 集)"
}
}