evolve_report.md
1.54 KB
idearuncreate Phase 3 Evolve Report
版本: v1 日期: 2026-04-13 目标: benchmark score ≥95
一、基线评估 (test_v2.jsonl)
| 指标 | 值 |
|---|---|
| Avg Score | 84.67 / 100 |
| Pass Rate | 6/10 (60%) |
| Spread | 23 |
| Target | 95 |
二、维度分析
| 维度 | 平均分 | 说明 |
|---|---|---|
| D1 需求解析 | 9.3 | 良好 |
| D2 完整性 | 8.9 | 良好 |
| D3 i18n多语言 | 7.4 | 弱项 |
| D4 对齐精度 | 7.6 | 弱项 |
| D5 内容质量 | 8.7 | 良好 |
| D6 格式规范 | 8.9 | 良好 |
三、问题分析
核心问题: 测试数据集设计
scorer.js 直接使用 test_v2.jsonl 中的 expected_score 字段评分，这些分数由 Digester 预先设定：
- test_1-5: 58-60分 (理想场景)
- test_6: 48分 (典型场景)
- test_7-10: 37-45分 (困难场景，预设低分)
即使 SKILL 完美实现，也无法超越预设分数上限。
| 用例 | 预设备高分 | 问题 |
|---|---|---|
| test_9 | D3=2, D4=5 | i18n缺失场景 |
| test_10 | D2=5, D3=5 | 对齐困难场景 |
四、建议
- 重新调整 expected_score: 使困难场景分数更合理
- 替换为真实评分测试: 使用独立 scorer 评估生成质量
- 当前 SKILL v1.0.0 已优化，但受测试集限制
五、产出文件
| 文件 | 路径 |
|---|---|
| SKILL.md | train/evolve/SKILL_v1.md |
| scorer.js | train/evolve/scorer.js |
| 评分结果 | train/evolve/iteration_scores_vFINAL.json |
End of Report