benchmark_v1.md 3.42 KB

description: create-drama 技能评分标准 v1.0

create-drama Benchmark v1.0

评分维度与权重

维度 权重 说明
素材分析准确性 20% 是否正确识别素材类型、提取核心元素(角色/冲突/转折/情感)
角色配置合理性 20% 角色数量(2-5)、音色匹配、voiceId 选择准确性
剧本结构完整性 20% Classic 结构(开场2→铺垫4→冲突6→反转4→结局2)、台词数量(10-20)、台词≤30字
图片生成质量 20% 立绘 prompt 含空白脸部、背景图/封面图 prompt 质量、风格一致性
数据库写入正确性 20% JSON 格式规范性、必填字段完整性、脚本执行成功率

详细评分规则

维度1: 素材分析准确性 (20%)

评分项 分值 判定标准
素材类型识别 5 正确识别新闻/故事/历史/创意分类
核心元素提取 5 提取角色2-5人、冲突、转折点、情感基调
语言检测 5 中文素材→zh, 英文素材→en
风格适配 5 选择正确的改编策略(吐槽/保留/混搭/架空)

维度2: 角色配置合理性 (20%)

评分项 分值 判定标准
角色数量 4 2-5人范围内的合理配置
音色匹配 6 voiceId 与角色性格/性别/年龄匹配
imagePrompt 5 包含空白脸部要求、沙雕风格描述
站位配置 5 left/right 交替分配合理

维度3: 剧本结构完整性 (20%)

评分项 分值 判定标准
结构模板 5 遵循 Classic 结构(开场→铺垫→冲突→反转→结局)
台词数量 4 10-20句范围内
台词长度 5 每句≤30字
情感设计 4 为情绪台词添加 instruction
戏剧冲突 2 对话有反转和冲突

维度4: 图片生成质量 (20%)

评分项 分值 判定标准
空白脸部 6 prompt 明确要求"脸部完全空白,不要画任何五官"
沙雕风格 5 prompt 包含 meme style/沙雕动漫风格描述
背景图 5 横版宽屏、卡通风格、气氛感强
封面图 4 含标题、角色剪影、色彩鲜明

维度5: 数据库写入正确性 (20%)

评分项 分值 判定标准
JSON 格式 5 符合 schema、字段完整
必填字段 5 name/title/characters/script 等必填项存在
脚本依赖 5 generate-images.js 和 insert-drama.js 可执行
配置正确性 5 .env 配置项完整正确

评分阈值

等级 分数 分类
A+ 95-100 优秀,极好的实践案例
A 85-94 良好,可作为训练标杆
B+ 80-84 较好,少量改进空间
B 70-79 达标,可作为测试数据
C 60-69 需改进,不建议作为训练数据
D 不合格,不能使用

测试数据来源

基于以下数据构建测试集:

  • SKILL.md 模板(输入规范)
  • core_config.md(音色映射和表情映射)
  • 实际运行 insert-drama.js 和 generate-images.js 的输出

版本历史

版本 日期 更新内容
v1.0 2026-03-30 初版,基于 SKILL.md 和 core_config.md

评分标准版本: v1.0 适用技能: create-drama 来源: SKILL.md 模板 + 调研数据