idearuncreate Benchmark 评分标准
版本: v1
生成时间: 2026-04-13
目标: ≥95 分 (150→100 分制，6 维度)
一、评分维度
| # |
维度 |
权重 (原始) |
权重 (150分制) |
说明 |
| 1 |
完整性 |
30% |
45 |
角色图/背景图/封面图是否全部生成 |
| 2 |
对齐精度 |
20% |
30 |
face-align 偏移量计算是否合理 |
| 3 |
多语言覆盖 |
15% |
22 |
i18n 翻译是否覆盖 5+ 语言 |
| 4 |
内容质量 |
20% |
30 |
台词生动度、戏剧冲突 |
| 5 |
技术合规 |
15% |
23 |
无脸要求、纯色背景、文字禁含 |
| 6 |
格式规范 |
— |
加权调整 |
JSON Schema 完整性和字段规范 |
总分: 150 分 → 映射到 100 分制
二、评分标准
维度 1: 完整性 (原始权重 30% → 45 分)
| 分数 |
标准 |
| 9-10 (41-45) |
角色图 100% 生成（所有角色均有 bodyUrl）+ 背景图 + 封面图完整 |
| 7-8 (31-40) |
角色图 ≥80% 生成 + 背景图 + 封面图完整 |
| 5-6 (21-30) |
角色图 ≥50% 生成，部分图片缺失 |
| 3-4 (11-20) |
仅部分角色图或背景图，无封面图 |
| 1-2 (1-10) |
无任何图片生成 |
维度 2: 对齐精度 (原始权重 20% → 30 分)
| 分数 |
标准 |
| 9-10 (26-30) |
face-align 精确计算，偏移量合理（top: 5-15%, left: 30-45%, width: 25-35%） |
| 7-8 (21-25) |
有 face-align 记录，偏移量基本合理 |
| 5-6 (11-20) |
有 face-align 记录，偏移量偏差较大 |
| 3-4 (1-10) |
虽有对齐记录但数值异常 |
| 1-2 (1) |
无对齐处理 |
维度 3: 多语言覆盖 (原始权重 15% → 22 分)
| 分数 |
标准 |
| 9-10 (19-22) |
i18n 覆盖 ≥5 种语言（zh/en/ja/es/id/pt 至少 5 种） |
| 7-8 (15-18) |
i18n 覆盖 3-4 种语言 |
| 5-6 (9-14) |
i18n 覆盖 1-2 种语言 |
| 3-4 (1-8) |
仅 baseline 语言 |
| 1-2 (1) |
无 i18n |
维度 4: 内容质量 (原始权重 20% → 30 分)
| 分数 |
标准 |
| 9-10 (26-30) |
台词生动，有明显戏剧冲突，角色性格鲜明，节奏紧凑 |
| 7-8 (21-25) |
台词流畅，有一定戏剧性，角色区分明显 |
| 5-6 (11-20) |
台词平实，戏剧冲突不明显 |
| 3-4 (1-10) |
台词单调，对话缺乏互动 |
| 1-2 (1) |
对话混乱或缺失 |
维度 5: 技术合规 (原始权重 15% → 23 分)
| 分数 |
标准 |
| 9-10 (19-23) |
严格符合：纯色背景、无脸要求、无文字、字符规范 |
| 7-8 (15-18) |
基本合规，有 1 处小问题 |
| 5-6 (9-14) |
有 2-3 处技术问题 |
| 3-4 (1-8) |
有明显技术违规 |
| 1-2 (1) |
严重违规（政治敏感、有脸、含文字） |
维度 6: 格式规范
| 分数 |
标准 |
| 9-10 |
JSON Schema 完全符合，字段完整，无冗余 |
| 7-8 |
Schema 基本符合，字段基本完整 |
| 5-6 |
有字段缺失或类型错误 |
| 3-4 |
格式混乱，需要修复 |
| 1-2 |
无法解析 |
三、等级映射
150 分制 → 100 分制映射：
| 150分制 |
100分制 |
等级 |
| 135-150 |
90-100 |
S |
| 120-134 |
80-89 |
A |
| 105-119 |
70-79 |
B |
| 90-104 |
60-69 |
C |
| 75-89 |
50-59 |
D |
|
|
| F |
目标: ≥95 分 (在 100 分制下)
四、测试样本要求
| 样本类型 |
数量 |
说明 |
| 边界样本 (S/A级) |
≥3 |
理想输入，预期高分 |
| 中间样本 (B级) |
≥3 |
典型输入 |
| 困难样本 (C/D/F级) |
≥3 |
缺图/无i18n/格式错误 |
benchmark 覆盖率 ≥95%
五、评分公式
final_score = sum(dim_score) / 150 * 100
其中 dim_score 为各维度原始分数（满分 150），final_score 映射到 100 分制。
End of Benchmark
