benchmark_v1.md
3.42 KB
description: create-drama 技能评分标准 v1.0
create-drama Benchmark v1.0
评分维度与权重
| 维度 | 权重 | 说明 |
|---|---|---|
| 素材分析准确性 | 20% | 是否正确识别素材类型、提取核心元素(角色/冲突/转折/情感) |
| 角色配置合理性 | 20% | 角色数量(2-5)、音色匹配、voiceId 选择准确性 |
| 剧本结构完整性 | 20% | Classic 结构(开场2→铺垫4→冲突6→反转4→结局2)、台词数量(10-20)、台词≤30字 |
| 图片生成质量 | 20% | 立绘 prompt 含空白脸部、背景图/封面图 prompt 质量、风格一致性 |
| 数据库写入正确性 | 20% | JSON 格式规范性、必填字段完整性、脚本执行成功率 |
详细评分规则
维度1: 素材分析准确性 (20%)
| 评分项 | 分值 | 判定标准 |
|---|---|---|
| 素材类型识别 | 5 | 正确识别新闻/故事/历史/创意分类 |
| 核心元素提取 | 5 | 提取角色2-5人、冲突、转折点、情感基调 |
| 语言检测 | 5 | 中文素材→zh, 英文素材→en |
| 风格适配 | 5 | 选择正确的改编策略(吐槽/保留/混搭/架空) |
维度2: 角色配置合理性 (20%)
| 评分项 | 分值 | 判定标准 |
|---|---|---|
| 角色数量 | 4 | 2-5人范围内的合理配置 |
| 音色匹配 | 6 | voiceId 与角色性格/性别/年龄匹配 |
| imagePrompt | 5 | 包含空白脸部要求、沙雕风格描述 |
| 站位配置 | 5 | left/right 交替分配合理 |
维度3: 剧本结构完整性 (20%)
| 评分项 | 分值 | 判定标准 |
|---|---|---|
| 结构模板 | 5 | 遵循 Classic 结构(开场→铺垫→冲突→反转→结局) |
| 台词数量 | 4 | 10-20句范围内 |
| 台词长度 | 5 | 每句≤30字 |
| 情感设计 | 4 | 为情绪台词添加 instruction |
| 戏剧冲突 | 2 | 对话有反转和冲突 |
维度4: 图片生成质量 (20%)
| 评分项 | 分值 | 判定标准 |
|---|---|---|
| 空白脸部 | 6 | prompt 明确要求"脸部完全空白,不要画任何五官" |
| 沙雕风格 | 5 | prompt 包含 meme style/沙雕动漫风格描述 |
| 背景图 | 5 | 横版宽屏、卡通风格、气氛感强 |
| 封面图 | 4 | 含标题、角色剪影、色彩鲜明 |
维度5: 数据库写入正确性 (20%)
| 评分项 | 分值 | 判定标准 |
|---|---|---|
| JSON 格式 | 5 | 符合 schema、字段完整 |
| 必填字段 | 5 | name/title/characters/script 等必填项存在 |
| 脚本依赖 | 5 | generate-images.js 和 insert-drama.js 可执行 |
| 配置正确性 | 5 | .env 配置项完整正确 |
评分阈值
| 等级 | 分数 | 分类 |
|---|---|---|
| A+ | 95-100 | 优秀,极好的实践案例 |
| A | 85-94 | 良好,可作为训练标杆 |
| B+ | 80-84 | 较好,少量改进空间 |
| B | 70-79 | 达标,可作为测试数据 |
| C | 60-69 | 需改进,不建议作为训练数据 |
| D | 不合格,不能使用 |
测试数据来源
基于以下数据构建测试集:
- SKILL.md 模板(输入规范)
- core_config.md(音色映射和表情映射)
- 实际运行 insert-drama.js 和 generate-images.js 的输出
版本历史
| 版本 | 日期 | 更新内容 |
|---|---|---|
| v1.0 | 2026-03-30 | 初版,基于 SKILL.md 和 core_config.md |
评分标准版本: v1.0 适用技能: create-drama 来源: SKILL.md 模板 + 调研数据