benchmark_v1.md
6.73 KB
lemonv_drama Benchmark v1
Agent: lemonv_drama — 古风互动剧本 JSON Schema 大纲生成 满分: 100 分 | 目标线: ≥95 分 | 维度数: 6 维度
评分维度与权重
| 维度 | 权重 | 满分 | 核心考察点 |
|---|---|---|---|
| D1 故事结构 | 20% | 20 | meta 完整、起承转合清晰、plots 类型覆盖 opening/development/twist/ending、字数符合要求 |
| D2 角色塑造 | 20% | 20 | protagonist + deuteragonist 身份明确、角色 ≥2 人、image_prompt 结构完整 |
| D3 情绪节奏 | 20% | 20 | 冲突在第二幕升级、第三幕有反转、情绪张弛有度、对白符合古风三化原则 |
| D4 分支设计 | 15% | 15 | choice 节点 ≥2、选项情境化、存在 affection_delta 或 trait_test、结局覆盖 HE/BE/TE |
| D5 视觉呈现 | 15% | 15 | 角色图 prompt 完整(subject+era+appearance+outfit+style+quality),场景图 prompt 服务剧情氛围 |
| D6 平台适配 | 10% | 10 | 题材符合橙光/易次元/闪艺古风热门类型、标题吸睛、字数在 3000-15000 区间 |
详细评分标准
D1 故事结构(20 分)
| 分值 | 标准 |
|---|---|
| 18-20 | meta(title/era/genre/source_type/word_count) 100% 完整;plots 严格覆盖 opening→development→twist→ending;字数精确匹配输入要求 |
| 14-17 | 结构完整,但 plots 类型缺失 1 个或字数偏差 ≤10% |
| 10-13 | 结构存在明显缺失(如缺 twist/ending),或字数偏差 >20% |
| 0-9 | meta 缺失核心字段,或 plots 顺序混乱、不可读 |
D2 角色塑造(20 分)
| 分值 | 标准 |
|---|---|
| 18-20 | 角色 ≥2 人,role/identity/gender/image_prompt 完整; protagonist + deuteragonist 身份清晰;image_prompt 包含 era+appearance+outfit+art style+quality |
| 14-17 | 角色完整但 image_prompt 缺少 1-2 个子要素,或人设稍单薄 |
| 10-13 | 仅有 1 个角色,或 image_prompt 为无意义的占位文本 |
| 0-9 | 角色字段大量缺失,或 gender/role 与古风题材严重错位 |
D3 情绪节奏(20 分)
| 分值 | 标准 |
|---|---|
| 18-20 | development 阶段有清晰的冲突升级;twist 带来有效反转;ending 以选择定「道/情/义/生」;对白文言化/意象化/礼制化 |
| 14-17 | 情绪有起伏但转折生硬,或对古风化程度一般(半文半白) |
| 10-13 | 平铺直叙,缺乏明确的爽点/虐点/悬念点;对白过于现代口语 |
| 0-9 | 所有 plot content 为重复模板文本,无情绪变化 |
D4 分支设计(15 分)
| 分值 | 标准 |
|---|---|
| 13-15 | choice 节点 ≥2,选项文案情境化(用道具/动作承载情感),含 affection_delta 或 trait_test;endings 覆盖 HE/BE/TE,condition 可执行 |
| 10-12 | 有分支框架但选项文案雷同,或 endings 仅 2 种 |
| 6-9 | 仅有 1 个 choice 节点,或 endings 条件描述不可执行 |
| 0-5 | 无 choices 或 endings 完全缺失 |
D5 视觉呈现(15 分)
| 分值 | 标准 |
|---|---|
| 13-15 | 角色 prompt 结构完整:subject + era + appearance + outfit + expression + art style + quality;场景 prompt 含 location + time + mood + style,无现代元素 |
| 10-12 | prompt 基本完整但缺少 1-2 个修饰子项,或存在轻微的现代词汇 |
| 6-9 | prompt 过度模板化(仅替换 era),或描述过于抽象无法用于生图 |
| 0-5 | image_prompt 缺失或包含明显的负面/现代元素 |
D6 平台适配(10 分)
| 分值 | 标准 |
|---|---|
| 9-10 | 题材为橙光/易次元热门古风类型(仙侠/宫廷/武侠/神话);标题带悬念或冲突;字数严格在 3000-15000 区间 |
| 6-8 | 题材合规但标题平淡,或字数有轻微偏差 |
| 3-5 | 题材过于小众或标题无法体现剧情卖点 |
| 0-2 | 字数严重偏离(如 50000),或题材与古风无关 |
等级划分
| 总分 | 等级 | 处理建议 |
|---|---|---|
| 95-100 | S | 可直接进入 Evolver 微调,优先开发 |
| 90-94 | A | 结构扎实,小修后可落地 |
| 80-89 | B | 有明显短板,需补全特定维度 |
| 60-79 | C | 需大幅返工 |
| D | 淘汰,不作为训练正样本 |
自动化评测规则 (Evolver 使用)
客观字段校验
| 检查项 | 通过标准 | 失败处理 |
|---|---|---|
| JSON 合法 | jq 可解析 |
该样本记 0 分 |
| meta 完整性 | 包含 title/era/genre/source_type/word_count | 扣 D1 5 分 |
| characters ≥2 | len(characters) >= 2 |
扣 D2 8 分 |
| plots 类型完整 | 覆盖 opening/development/twist/ending | 缺 1 个扣 D1 3 分 |
| choices ≥2 | development 或 twist 中存在 ≥2 个 choice | 扣 D4 5 分 |
| endings ≥3 | 覆盖 HE/BE/TE | 缺 1 个扣 D4 3 分 |
| word_count 合规 | 3000 ≤ word_count ≤ 15000 | 扣 D6 5 分 |
重复率 / 模板化检测
- 若
plots[].title与plots[].content在 ≥80% 样本中完全一致 → D3 ≤ 10, D4 ≤ 9 - 若所有
choices[].text完全雷同 → D4 ≤ 6 - 若
image_prompt仅有 era 被替换 → D5 ≤ 9
评分示例
高分答卷 (score=97)
- D1=19: meta 完整,plots 四幕清晰,字数精确匹配
- D2=19: 角色 2 人,身份明确,image_prompt 含 era+appearance+outfit+style+quality
- D3=18: 冲突有升级,twist 带来反转,对白古风化良好
- D4=14: 2 个 choice 节点,选项情境化,endings 覆盖 HE/BE/TE
- D5=14: 角色与场景 prompt 结构完整,氛围契合
- D6=9: 题材为热门古风,标题有悬念,字数合规
总分 = 19+19+18+14+14+9 = 97
及格答卷 (score=85)
- D1=16: meta 完整,plots 类型存在但 twist 力度偏弱
- D2=15: 角色完整但 image_prompt 缺少 expression/quality 描述
- D3=14: 情绪有起伏但对白偏现代口语
- D4=12: 有 1 个 choice 节点,endings 仅 HE/BE 两种
- D5=12: prompt 基本完整但场景描述较抽象
- D6=6: 题材合规但标题平淡,字数有轻微偏差
总分 = 16+15+14+12+12+6 = 85
低分答卷 (score=58)
- D1=12: meta 缺失 source_url,plots 仅 3 个且类型不全
- D2=10: 仅有 1 个角色,image_prompt 为占位文本
- D3=8: plot content 全部雷同,无情绪变化
- D4=9: 仅有 1 个 choice,选项高度雷同
- D5=8: image_prompt 仅替换 era,其余描述 100% 重复
- D6=1: 字数偏离到 500 字,标题无悬念
总分 = 12+10+8+9+8+1 = 58
快速 Pass/Fail 规则
meta缺失era或genre→ D1 ≤ 10characters少于 2 人 → D2 ≤ 12plots中无development或ending→ D1 ≤ 10- 无
choices或全部选项文案雷同 → D4 ≤ 6 endings少于 2 种 → D4 ≤ 9word_count15000 → D6 ≤ 3
版本: v1 | 生成日期: 2026-04-13