benchmark_v1.md 6.73 KB

Edit Raw Blame History Permalink


lemonv_drama Benchmark v1

Agent: lemonv_drama — 古风互动剧本 JSON Schema 大纲生成
满分: 100 分 | 目标线: ≥95 分 | 维度数: 6 维度


评分维度与权重


维度
权重
满分
核心考察点


D1 故事结构
20%
20
meta 完整、起承转合清晰、plots 类型覆盖 opening/development/twist/ending、字数符合要求


D2 角色塑造
20%
20
protagonist + deuteragonist 身份明确、角色 ≥2 人、image_prompt 结构完整


D3 情绪节奏
20%
20
冲突在第二幕升级、第三幕有反转、情绪张弛有度、对白符合古风三化原则


D4 分支设计
15%
15
choice 节点 ≥2、选项情境化、存在 affection_delta 或 trait_test、结局覆盖 HE/BE/TE


D5 视觉呈现
15%
15
角色图 prompt 完整(subject+era+appearance+outfit+style+quality)，场景图 prompt 服务剧情氛围


D6 平台适配
10%
10
题材符合橙光/易次元/闪艺古风热门类型、标题吸睛、字数在 3000-15000 区间


详细评分标准
D1 故事结构（20 分）


分值
标准


18-20
meta(title/era/genre/source_type/word_count) 100% 完整；plots 严格覆盖 opening→development→twist→ending；字数精确匹配输入要求


14-17
结构完整，但 plots 类型缺失 1 个或字数偏差 ≤10%


10-13
结构存在明显缺失（如缺 twist/ending），或字数偏差 >20%


0-9
meta 缺失核心字段，或 plots 顺序混乱、不可读


D2 角色塑造（20 分）


分值
标准


18-20
角色 ≥2 人，role/identity/gender/image_prompt 完整； protagonist + deuteragonist 身份清晰；image_prompt 包含 era+appearance+outfit+art style+quality


14-17
角色完整但 image_prompt 缺少 1-2 个子要素，或人设稍单薄


10-13
仅有 1 个角色，或 image_prompt 为无意义的占位文本


0-9
角色字段大量缺失，或 gender/role 与古风题材严重错位


D3 情绪节奏（20 分）


分值
标准


18-20
development 阶段有清晰的冲突升级；twist 带来有效反转；ending 以选择定「道/情/义/生」；对白文言化/意象化/礼制化


14-17
情绪有起伏但转折生硬，或对古风化程度一般（半文半白）


10-13
平铺直叙，缺乏明确的爽点/虐点/悬念点；对白过于现代口语


0-9
所有 plot content 为重复模板文本，无情绪变化


D4 分支设计（15 分）


分值
标准


13-15
choice 节点 ≥2，选项文案情境化（用道具/动作承载情感），含 affection_delta 或 trait_test；endings 覆盖 HE/BE/TE，condition 可执行


10-12
有分支框架但选项文案雷同，或 endings 仅 2 种


6-9
仅有 1 个 choice 节点，或 endings 条件描述不可执行


0-5
无 choices 或 endings 完全缺失


D5 视觉呈现（15 分）


分值
标准


13-15
角色 prompt 结构完整：subject + era + appearance + outfit + expression + art style + quality；场景 prompt 含 location + time + mood + style，无现代元素


10-12
prompt 基本完整但缺少 1-2 个修饰子项，或存在轻微的现代词汇


6-9
prompt 过度模板化（仅替换 era），或描述过于抽象无法用于生图


0-5
image_prompt 缺失或包含明显的负面/现代元素


D6 平台适配（10 分）


分值
标准


9-10
题材为橙光/易次元热门古风类型（仙侠/宫廷/武侠/神话）；标题带悬念或冲突；字数严格在 3000-15000 区间


6-8
题材合规但标题平淡，或字数有轻微偏差


3-5
题材过于小众或标题无法体现剧情卖点


0-2
字数严重偏离（如 50000），或题材与古风无关


等级划分


总分
等级
处理建议


95-100
S
可直接进入 Evolver 微调，优先开发


90-94
A
结构扎实，小修后可落地


80-89
B
有明显短板，需补全特定维度


60-79
C
需大幅返工


D
淘汰，不作为训练正样本


自动化评测规则 (Evolver 使用)
客观字段校验


检查项
通过标准
失败处理


JSON 合法
jq 可解析
该样本记 0 分


meta 完整性
包含 title/era/genre/source_type/word_count
扣 D1 5 分


characters ≥2
len(characters) >= 2
扣 D2 8 分


plots 类型完整
覆盖 opening/development/twist/ending
缺 1 个扣 D1 3 分


choices ≥2
development 或 twist 中存在 ≥2 个 choice
扣 D4 5 分


endings ≥3
覆盖 HE/BE/TE
缺 1 个扣 D4 3 分


word_count 合规
3000 ≤ word_count ≤ 15000
扣 D6 5 分


重复率 / 模板化检测

若 plots[].title 与 plots[].content 在 ≥80% 样本中完全一致 → D3 ≤ 10, D4 ≤ 9
若所有 choices[].text 完全雷同 → D4 ≤ 6
若 image_prompt 仅有 era 被替换 → D5 ≤ 9


评分示例
高分答卷 (score=97)

D1=19: meta 完整，plots 四幕清晰，字数精确匹配
D2=19: 角色 2 人，身份明确，image_prompt 含 era+appearance+outfit+style+quality
D3=18: 冲突有升级，twist 带来反转，对白古风化良好
D4=14: 2 个 choice 节点，选项情境化，endings 覆盖 HE/BE/TE
D5=14: 角色与场景 prompt 结构完整，氛围契合
D6=9: 题材为热门古风，标题有悬念，字数合规


总分 = 19+19+18+14+14+9 = 97
及格答卷 (score=85)

D1=16: meta 完整，plots 类型存在但 twist 力度偏弱
D2=15: 角色完整但 image_prompt 缺少 expression/quality 描述
D3=14: 情绪有起伏但对白偏现代口语
D4=12: 有 1 个 choice 节点，endings 仅 HE/BE 两种
D5=12: prompt 基本完整但场景描述较抽象
D6=6: 题材合规但标题平淡，字数有轻微偏差


总分 = 16+15+14+12+12+6 = 85
低分答卷 (score=58)

D1=12: meta 缺失 source_url，plots 仅 3 个且类型不全
D2=10: 仅有 1 个角色，image_prompt 为占位文本
D3=8: plot content 全部雷同，无情绪变化
D4=9: 仅有 1 个 choice，选项高度雷同
D5=8: image_prompt 仅替换 era，其余描述 100% 重复
D6=1: 字数偏离到 500 字，标题无悬念


总分 = 12+10+8+9+8+1 = 58


快速 Pass/Fail 规则

meta 缺失 era 或 genre → D1 ≤ 10
characters 少于 2 人 → D2 ≤ 12
plots 中无 development 或 ending → D1 ≤ 10
无 choices 或全部选项文案雷同 → D4 ≤ 6
endings 少于 2 种 → D4 ≤ 9
word_count  15000 → D6 ≤ 3


版本: v1 | 生成日期: 2026-04-13