# Benchmark v2 → v3 差异报告

## 版本对比

| 指标 | v2 | v3 | 变化 |
|------|-----|-----|------|
| 样本数 | 1 | 11 | +10 |
| Good 数据 | 1 | 6 | +5 |
| Bad 数据 | 0 | 5 | +5 |
| 平均分 | 82.75 | 74.32 | -8.43 |
| 最高分 | 82.75 | 88.0 | +5.25 |
| 最低分 | 82.75 | 48.0 | -34.75 |

---

## 新增内容

### Good Testdata (新增 5 项)
1. `good_03_github_projects.md` - 项目分析报告
2. `good_04_anticrawling.md` - 反爬指南
3. `good_05_dataclean.md` - 数据清洗指南
4. `good_06_api_reference.md` - API 参考文档

### Bad Testdata (新增 5 项)
1. `bad_01_engagement_missing.json` - 缺失 engagement
2. `bad_02_author_empty.json` - author 信息为空
3. `bad_03_incomplete_fields.json` - 字段严重缺失
4. `bad_04_stale_data.json` - 数据过期
5. `bad_05_invalid_data.json` - 数据无效

---

## 评分分布变化

### v2 评分分布
- ≥80 分: 1 (100%)
- 60-80 分: 0
- <60 分: 0

### v3 评分分布
- ≥80 分: 3 (27%)
- 60-80 分: 4 (36%)
- <60 分: 4 (36%)

---

## 关键发现

1. **平均分下降**：由于增加了真实样本的平均化，原 v2 的 82.75 分偏高
2. **数据质量分布更合理**：v3 呈现正态分布，更符合实际
3. **覆盖更多场景**：从单一数据类型扩展到知识文档、数据文件

---

## 建议

- 继续补充更多真实爬取样本
- 关注 engagement/author 字段完整性
- 建立数据新鲜度检查机制

---

*生成时间: 2026-03-28*
*Digester*