benchmark_v1.md
3.76 KB
idearuncreate Benchmark 评分标准
版本: v1 生成时间: 2026-04-13 目标: ≥95 分 (150→100 分制,6 维度)
一、评分维度
| # | 维度 | 权重 (原始) | 权重 (150分制) | 说明 |
|---|---|---|---|---|
| 1 | 完整性 | 30% | 45 | 角色图/背景图/封面图是否全部生成 |
| 2 | 对齐精度 | 20% | 30 | face-align 偏移量计算是否合理 |
| 3 | 多语言覆盖 | 15% | 22 | i18n 翻译是否覆盖 5+ 语言 |
| 4 | 内容质量 | 20% | 30 | 台词生动度、戏剧冲突 |
| 5 | 技术合规 | 15% | 23 | 无脸要求、纯色背景、文字禁含 |
| 6 | 格式规范 | — | 加权调整 | JSON Schema 完整性和字段规范 |
总分: 150 分 → 映射到 100 分制
二、评分标准
维度 1: 完整性 (原始权重 30% → 45 分)
| 分数 | 标准 |
|---|---|
| 9-10 (41-45) | 角色图 100% 生成(所有角色均有 bodyUrl)+ 背景图 + 封面图完整 |
| 7-8 (31-40) | 角色图 ≥80% 生成 + 背景图 + 封面图完整 |
| 5-6 (21-30) | 角色图 ≥50% 生成,部分图片缺失 |
| 3-4 (11-20) | 仅部分角色图或背景图,无封面图 |
| 1-2 (1-10) | 无任何图片生成 |
维度 2: 对齐精度 (原始权重 20% → 30 分)
| 分数 | 标准 |
|---|---|
| 9-10 (26-30) | face-align 精确计算,偏移量合理(top: 5-15%, left: 30-45%, width: 25-35%) |
| 7-8 (21-25) | 有 face-align 记录,偏移量基本合理 |
| 5-6 (11-20) | 有 face-align 记录,偏移量偏差较大 |
| 3-4 (1-10) | 虽有对齐记录但数值异常 |
| 1-2 (1) | 无对齐处理 |
维度 3: 多语言覆盖 (原始权重 15% → 22 分)
| 分数 | 标准 |
|---|---|
| 9-10 (19-22) | i18n 覆盖 ≥5 种语言(zh/en/ja/es/id/pt 至少 5 种) |
| 7-8 (15-18) | i18n 覆盖 3-4 种语言 |
| 5-6 (9-14) | i18n 覆盖 1-2 种语言 |
| 3-4 (1-8) | 仅 baseline 语言 |
| 1-2 (1) | 无 i18n |
维度 4: 内容质量 (原始权重 20% → 30 分)
| 分数 | 标准 |
|---|---|
| 9-10 (26-30) | 台词生动,有明显戏剧冲突,角色性格鲜明,节奏紧凑 |
| 7-8 (21-25) | 台词流畅,有一定戏剧性,角色区分明显 |
| 5-6 (11-20) | 台词平实,戏剧冲突不明显 |
| 3-4 (1-10) | 台词单调,对话缺乏互动 |
| 1-2 (1) | 对话混乱或缺失 |
维度 5: 技术合规 (原始权重 15% → 23 分)
| 分数 | 标准 |
|---|---|
| 9-10 (19-23) | 严格符合:纯色背景、无脸要求、无文字、字符规范 |
| 7-8 (15-18) | 基本合规,有 1 处小问题 |
| 5-6 (9-14) | 有 2-3 处技术问题 |
| 3-4 (1-8) | 有明显技术违规 |
| 1-2 (1) | 严重违规(政治敏感、有脸、含文字) |
维度 6: 格式规范
| 分数 | 标准 |
|---|---|
| 9-10 | JSON Schema 完全符合,字段完整,无冗余 |
| 7-8 | Schema 基本符合,字段基本完整 |
| 5-6 | 有字段缺失或类型错误 |
| 3-4 | 格式混乱,需要修复 |
| 1-2 | 无法解析 |
三、等级映射
150 分制 → 100 分制映射:
| 150分制 | 100分制 | 等级 |
|---|---|---|
| 135-150 | 90-100 | S |
| 120-134 | 80-89 | A |
| 105-119 | 70-79 | B |
| 90-104 | 60-69 | C |
| 75-89 | 50-59 | D |
| F |
目标: ≥95 分 (在 100 分制下)
四、测试样本要求
| 样本类型 | 数量 | 说明 |
|---|---|---|
| 边界样本 (S/A级) | ≥3 | 理想输入,预期高分 |
| 中间样本 (B级) | ≥3 | 典型输入 |
| 困难样本 (C/D/F级) | ≥3 | 缺图/无i18n/格式错误 |
benchmark 覆盖率 ≥95%
五、评分公式
final_score = sum(dim_score) / 150 * 100
其中 dim_score 为各维度原始分数(满分 150),final_score 映射到 100 分制。
End of Benchmark