benchmark_v1.md
4.59 KB
interactive-video-selector Benchmark V1
目标:评估 AI 互动视频短剧选题能力
满分:100 分 | 目标线:≥ 95 分 | 维度数:6 维度
评分维度与权重
| 维度 | 权重 | 说明 |
|---|---|---|
| D1 对话潜力与分支可设计性 | 25% | 说话人数量≥2为优、能否自然提取3-5个决策点、是否可采用延迟分支/瓶颈收敛 |
| D2 冲突强度与情感共鸣 | 20% | 冲突词密度、立场对立清晰度、是否触及普遍人性主题 |
| D3 场景可视化与 AI 生产适配性 | 20% | 场景是否清晰可控、是否为现代室内/对话驱动、古装/特效/动作戏占比是否过高 |
| D4 互动结构质量 | 15% | 选择点密度是否合理(0.3-0.5/分钟)、是否有瓶颈收敛场景、是否有隐藏结局潜力 |
| D5 平台适配度 | 10% | 是否匹配 ReelShort/DramaBox/红果的爆款标签、题材是否符合平台算法偏好 |
| D6 输出规范与数据完整性 | 10% | 必填字段完整、JSON 格式正确、adaptation_plan 具体可执行、sbse_framework 结构完整 |
详细评分标准
D1 对话潜力与分支可设计性(25 分)
| 分值 | 标准 |
|---|---|
| 23-25 | ≥2 个独立说话人,可自然提取 3-5 个决策点,明确支持延迟分支/瓶颈收敛 |
| 18-22 | ≥2 个说话人,可提取 2-3 个决策点,分支结构基本可行 |
| 13-17 | 1 个说话人但可通过角色分身重构,或仅能提取 1-2 个简单决策点 |
| 0-12 | 纯独白且难以重构,或无明确对话/互动基础 |
D2 冲突强度与情感共鸣(20 分)
| 分值 | 标准 |
|---|---|
| 18-20 | 高密度冲突词 + 明确立场对立,触及普遍人性主题(信任/背叛/牺牲/正义) |
| 14-17 | 中等冲突密度,有立场差异但情感锚点不够强烈 |
| 10-13 | 冲突较弱或仅特定圈层共鸣,情感驱动力不足 |
| 0-9 | 平铺直叙,无明显冲突或情感锚点 |
D3 场景可视化与 AI 生产适配性(20 分)
| 分值 | 标准 |
|---|---|
| 18-20 | 现代室内场景为主、对话驱动、分支只需微调表演即可收敛,AI producibility_score ≥ 35 |
| 14-17 | 少量外景或服装变化,整体可控,AI producibility_score 25-34 |
| 10-13 | 古装/奇幻元素较多,或需要不同场景支撑分支,AI producibility_score 15-24 |
| 0-9 | 大量特效/动作/战争场面,或世界观向分支导致视觉资产 explosion,AI 生产风险高 |
D4 互动结构质量(15 分)
| 分值 | 标准 |
|---|---|
| 13-15 | 选择点密度 0.3-0.5/分钟,存在明确的瓶颈收敛场景,有隐藏结局触发条件设计 |
| 10-12 | 有基本选择点和收敛设计,但密度略高/略低,或隐藏结局设计不足 |
| 6-9 | 仅有 1-2 个决策点,或无收敛设计导致分支可能 explosion |
| 0-5 | 无互动结构意识,或选择点与剧情逻辑脱节 |
D5 平台适配度(10 分)
| 分值 | 标准 |
|---|---|
| 9-10 | 精准匹配 ReelShort/DramaBox/红果的已验证爆款标签,有强钩子潜力 |
| 7-8 | 题材合理,与 1-2 个平台标签基本匹配,但创新亮点不突出 |
| 4-6 | 题材与平台错位或过于小众,算法推送潜力有限 |
| 0-3 | 纯新闻/纪录片/学术内容,明显不符合短剧平台生态 |
D6 输出规范与数据完整性(10 分)
| 分值 | 标准 |
|---|---|
| 9-10 | 必填字段 100% 完整,JSON 格式合法,adaptation_plan 包含具体选择点和结局设计,sbse_framework 结构标准 |
| 7-8 | 字段基本完整,1-2 个可选字段缺失,adaptation_plan 较笼统 |
| 4-6 | 必填字段缺失或格式错误,sbse_framework 不完整 |
| 0-3 | 严重缺字段或 JSON 解析失败,无法作为训练正样本 |
等级划分
| 总分 | 等级 | 处理建议 |
|---|---|---|
| 95-100 | S | 直接优先立项,建议开发多结局深度互动剧 |
| 90-94 | A | 通过选题,可设计 2-3 个关键决策点 |
| 85-89 | B | 降级为轻互动短视频或常规短剧改编 |
| 80-84 | C | 不建议做互动结构,仅做解说/切片 |
| D | 淘汰,不作为训练正样本 |
快速 Pass/Fail 规则
- 单人口播新闻类素材且总分
- 缺失 video_id / title / adaptation_plan / grade 任意一项 → D6 ≤ 4
- AI producibility_score
- 决策点 > 5 且无瓶颈收敛设计 → D4 ≤ 9
- 前 3 秒无强钩子潜力的素材 → D5 ≤ 5
版本: v1 | 基于 knowhow_v2.md / knowhow_base.md / video_samples_summary_base.json | 生成日期: 2026-04-13