Benchmark v2 → v3 差异报告

版本对比

指标	v2	v3	变化
样本数	1	11	+10
Good 数据	1	6	+5
Bad 数据	0	5	+5
平均分	82.75	74.32	-8.43
最高分	82.75	88.0	+5.25
最低分	82.75	48.0	-34.75

---

新增内容

Good Testdata (新增 5 项)

1. good_03_github_projects.md - 项目分析报告
2. good_04_anticrawling.md - 反爬指南
3. good_05_dataclean.md - 数据清洗指南
4. good_06_api_reference.md - API 参考文档

Bad Testdata (新增 5 项)

1. bad_01_engagement_missing.json - 缺失 engagement
2. bad_02_author_empty.json - author 信息为空
3. bad_03_incomplete_fields.json - 字段严重缺失
4. bad_04_stale_data.json - 数据过期
5. bad_05_invalid_data.json - 数据无效

---

评分分布变化

v2 评分分布

• ≥80 分: 1 (100%)
• 60-80 分: 0

v3 评分分布

• ≥80 分: 3 (27%)
• 60-80 分: 4 (36%)

---

关键发现

1. 平均分下降：由于增加了真实样本的平均化，原 v2 的 82.75 分偏高
2. 数据质量分布更合理：v3 呈现正态分布，更符合实际
3. 覆盖更多场景：从单一数据类型扩展到知识文档、数据文件

---

建议

• 继续补充更多真实爬取样本
• 关注 engagement/author 字段完整性
• 建立数据新鲜度检查机制

---

生成时间: 2026-03-28 Digester