benchmark_v1.md 7.89 KB

Edit Raw Blame History


Content-Selector 互动剧选题评分基准 v1

版本: v1

总分: 100 分

及格线: 90 分

用途: 用于 content-selector template 的 self-evaluation 与训练评估


1. 评分总览


总分区间
等级
处理建议


95-100
S
优先立项，建议开发 3-5 个分支、多结局深度互动剧


90-94
A
通过选题，可设计 2-3 个关键决策点，做中等规模互动剧


85-89
B
降级为「轻互动短视频」（如评论区投票决定下一集走向）


80-84
C
仅做常规短剧/解说改编，不做互动结构


D
淘汰，不作为训练正样本


设线逻辑: 互动剧生产链路长、成本高，只有高确定性优质素材才值得投入改编；80-89 分素材可作为低互动成本短视频改造，不建议做深度多结局互动剧。


2. 六维评分细则
维度 1: 对话潜力 (Dialogue Potential) — 20 分
评估原始素材中自然对话的丰富程度，以及直接映射为角色台词的可行性。


分值区间
标准描述


16-20
2 个及以上独立说话人，问答/争论/协商结构清晰，可直接分配角色台词


10-15
存在少量对话片段，但主体仍是独白；或说话人可识别但互动感弱，需二次加工


0-9
纯单人播报/独白，无其他说话人，必须做结构重构才能改编


自动化评估方法:


说话人识别: 扫描字幕中 >> Name:, [Name]:, 换段首词大写+冒号等模式，统计独立说话人数量
对话密度: 统计 "\n>>" 或 "\n-" 等换行对话标记频次，计算 对话回合数 / 总时长，>0.15 为佳
输出信号: speaker_count, dialogue_density_score


维度 2: 冲突强度 (Conflict Intensity) — 20 分
评估素材中立场对立、利益冲突、危机事件的浓度。


分值区间
标准描述


16-20
高密度冲突词 + 明确的立场对立/价值观碰撞，每 1000 字冲突词 ≥3 个


10-15
中等冲突，存在事件张力但缺乏对立双方，或冲突词密度中等


0-9
平铺直叙的信息传递，无明显对立面或戏剧张力


自动化评估方法:


冲突词库命中: 正则匹配 attack, threaten, crisis, rescue, deal, betray, deny, accuse, revenge, war, dead, kill, destroy, confront, oppose, refuse 等词
计算 冲突词总数 / (字幕字数 / 1000)，即每千字的冲突浓度
立场对立检测: 识别对话中明显的否定结构 (I don't think so, That's not true, We strongly oppose)
输出信号: conflict_word_density, stance_opposition_flag


维度 3: 情感共鸣 (Emotional Resonance) — 15 分
评估素材是否能触及普遍人性主题，激发观众的代入感。


分值区间
标准描述


12-15
能触及亲情、爱情、友情、正义、复仇、牺牲、恐惧等普遍人性主题


6-11
特定圈层/事件共鸣（如政治立场、职业身份），泛化性有限


0-5
冷静客观的纯信息陈述，无明显情感锚点或人性视角


自动化评估方法:


主题关键词匹配: 情感主题词库 (family, love, home, mother, father, child, justice, revenge, sacrifice, fear, hope, grief, survive)
冲突中的个体视角检测: 识别第一人称情感表达 (I feel, We lost, My heart breaks)
情感极性分析: 使用 NLP sentiment 检测情感波动，显著情感转折 3-5 次最适合短剧
输出信号: emotional_theme_score, first_person_emotion_count, sentiment_volatility


维度 4: 分支可设计性 (Branch Designability) — 20 分
评估从素材中提取自然决策点的难易程度。


分值区间
标准描述


16-20
可自然提取 3-5 个戏剧决策点（What would you do? 时刻），每个选择能明显改变后续走向


10-15
可设计 1-2 个决策点，或需要一定重构才能植入选择节点


0-9
难以找到选择节点，素材以线性陈述为主，无明显可分支的戏剧性时刻


自动化评估方法:


决策事件模板匹配: 识别 should we, what if, choose between, whether to, decide to, agree or refuse, stay or leave, believe or doubt 等决策句式
悬念/两难标记: but, however, dilemma, torn between, risk 出现频次
基于冲突强度加权: 冲突强度 ≥16 时，本维度可上浮 2 分
输出信号: decision_point_count, dilemma_markers_count


维度 5: 场景可视化 (Scene Visualizability) — 15 分
评估素材中场景描述是否清晰，以及是否适合低成本拍摄落地。


分值区间
标准描述


12-15
场景描述清晰（室内访谈、办公室、家庭客厅等），易低成本拍摄，无需大量置景


6-11
场景抽象或切换频繁，需要一定置景投入，或依赖新闻素材混剪


0-5
极度依赖大场面（战场、大规模游行、灾难现场），不适合低成本短剧拍摄


自动化评估方法:


地点实体提取: NLP 识别地点介词短语 (in Washington, at the White House, in the studio, at home)
场景复杂度评估: 统计场景中明确的室内/室外地点切换次数
大场面标记: 检测 battlefield, war zone, explosion, crowd of thousands, massive 等高风险拍摄词汇
输出信号: location_clarity_score, scene_complexity_score, big_scene_risk_flag


维度 6: 流量基础 (Traffic Foundation) — 10 分
评估素材本身的市场热度与受众基础。


分值区间
标准描述


8-10
viewCount > 50 万 且 高赞播比 > 1.5%，说明情绪共鸣强、市场验证通过


4-7
viewCount 10-50 万 或赞播比 0.5-1.5%，有一定热度但非爆款


0-3
viewCount 


自动化评估方法:


直接读取 YouTube JSON 的 viewCount 和 likeCount
计算 likeRatio = likeCount / viewCount * 100%
viewCount 以原始数值为准，不做对数转换
输出信号: viewCount, likeCount, likeRatio


3. 自动化评估 Pipeline
输入: YouTube 视频 JSON {title, channelTitle, viewCount, likeCount, subtitles}
    │
    ▼ Step 1: NLP 特征提取
    ├─ 说话人识别 → speaker_count, dialogue_density_score
    ├─ 冲突词库扫描 → conflict_word_density, stance_opposition_flag
    ├─ 情感分析 → emotional_theme_score, sentiment_volatility
    ├─ 决策点检测 → decision_point_count, dilemma_markers_count
    ├─ 场景提取 → location_clarity_score, scene_complexity_score, big_scene_risk_flag
    └─ 流量计算 → viewCount, likeRatio
    │
    ▼ Step 2: 六维评分映射
    根据上表规则，输出 6 个维度的整数分数
    │
    ▼ Step 3: 总分与等级判定
    total_score = sum(6 dimensions)
    grade = S/A/B/C/D (按总分区间)
    │
    ▼ Step 4: 改编建议
    if total_score >= 90:
        输出 SBSE 剧本框架草案 + adaptation_plan
    elif 单人独白且 total_score < 90:
        输出重构建议 (角色分身/引入对立面/观众代入)
    else:
        输出 rejection_reason


4. Self-Evaluation 检查清单
content-selector 在输出最终评估前，应逐条确认:


[ ] 说话人数量是否被准确识别？
[ ] 冲突词密度是否达到 ≥3/千字（高分标准）？
[ ] 是否存在可被观众代入的个体情感视角？
[ ] 能否从素材中直接提取至少 1 个 "What would you do?" 决策点？
[ ] 场景是否能在低成本条件下拍摄？是否存在大场面依赖？
[ ] 流量指标是否支持立项（赞播比 >1% 为优）？
[ ] 总分 ≥90 的素材是否自动生成了 SBSE 框架？
[ ] 纯独白素材是否输出了明确的三步重构建议？