benchmark_v1.md 4.59 KB

interactive-video-selector Benchmark V1

目标:评估 AI 互动视频短剧选题能力
满分:100 分 | 目标线:≥ 95 分 | 维度数:6 维度


评分维度与权重

维度 权重 说明
D1 对话潜力与分支可设计性 25% 说话人数量≥2为优、能否自然提取3-5个决策点、是否可采用延迟分支/瓶颈收敛
D2 冲突强度与情感共鸣 20% 冲突词密度、立场对立清晰度、是否触及普遍人性主题
D3 场景可视化与 AI 生产适配性 20% 场景是否清晰可控、是否为现代室内/对话驱动、古装/特效/动作戏占比是否过高
D4 互动结构质量 15% 选择点密度是否合理(0.3-0.5/分钟)、是否有瓶颈收敛场景、是否有隐藏结局潜力
D5 平台适配度 10% 是否匹配 ReelShort/DramaBox/红果的爆款标签、题材是否符合平台算法偏好
D6 输出规范与数据完整性 10% 必填字段完整、JSON 格式正确、adaptation_plan 具体可执行、sbse_framework 结构完整

详细评分标准

D1 对话潜力与分支可设计性(25 分)

分值 标准
23-25 ≥2 个独立说话人,可自然提取 3-5 个决策点,明确支持延迟分支/瓶颈收敛
18-22 ≥2 个说话人,可提取 2-3 个决策点,分支结构基本可行
13-17 1 个说话人但可通过角色分身重构,或仅能提取 1-2 个简单决策点
0-12 纯独白且难以重构,或无明确对话/互动基础

D2 冲突强度与情感共鸣(20 分)

分值 标准
18-20 高密度冲突词 + 明确立场对立,触及普遍人性主题(信任/背叛/牺牲/正义)
14-17 中等冲突密度,有立场差异但情感锚点不够强烈
10-13 冲突较弱或仅特定圈层共鸣,情感驱动力不足
0-9 平铺直叙,无明显冲突或情感锚点

D3 场景可视化与 AI 生产适配性(20 分)

分值 标准
18-20 现代室内场景为主、对话驱动、分支只需微调表演即可收敛,AI producibility_score ≥ 35
14-17 少量外景或服装变化,整体可控,AI producibility_score 25-34
10-13 古装/奇幻元素较多,或需要不同场景支撑分支,AI producibility_score 15-24
0-9 大量特效/动作/战争场面,或世界观向分支导致视觉资产 explosion,AI 生产风险高

D4 互动结构质量(15 分)

分值 标准
13-15 选择点密度 0.3-0.5/分钟,存在明确的瓶颈收敛场景,有隐藏结局触发条件设计
10-12 有基本选择点和收敛设计,但密度略高/略低,或隐藏结局设计不足
6-9 仅有 1-2 个决策点,或无收敛设计导致分支可能 explosion
0-5 无互动结构意识,或选择点与剧情逻辑脱节

D5 平台适配度(10 分)

分值 标准
9-10 精准匹配 ReelShort/DramaBox/红果的已验证爆款标签,有强钩子潜力
7-8 题材合理,与 1-2 个平台标签基本匹配,但创新亮点不突出
4-6 题材与平台错位或过于小众,算法推送潜力有限
0-3 纯新闻/纪录片/学术内容,明显不符合短剧平台生态

D6 输出规范与数据完整性(10 分)

分值 标准
9-10 必填字段 100% 完整,JSON 格式合法,adaptation_plan 包含具体选择点和结局设计,sbse_framework 结构标准
7-8 字段基本完整,1-2 个可选字段缺失,adaptation_plan 较笼统
4-6 必填字段缺失或格式错误,sbse_framework 不完整
0-3 严重缺字段或 JSON 解析失败,无法作为训练正样本

等级划分

总分 等级 处理建议
95-100 S 直接优先立项,建议开发多结局深度互动剧
90-94 A 通过选题,可设计 2-3 个关键决策点
85-89 B 降级为轻互动短视频或常规短剧改编
80-84 C 不建议做互动结构,仅做解说/切片
D 淘汰,不作为训练正样本

快速 Pass/Fail 规则

  1. 单人口播新闻类素材且总分
  2. 缺失 video_id / title / adaptation_plan / grade 任意一项 → D6 ≤ 4
  3. AI producibility_score
  4. 决策点 > 5 且无瓶颈收敛设计 → D4 ≤ 9
  5. 前 3 秒无强钩子潜力的素材 → D5 ≤ 5

版本: v1 | 基于 knowhow_v2.md / knowhow_base.md / video_samples_summary_base.json | 生成日期: 2026-04-13