微博爬取 Benchmark 标准 (v2 - 最终版)

评分维度

D1: 数据完整性 (权重 25%)

• 字段覆盖率：source, engagement, content, author, timestamp, metrics
• 数据结构完整性：无缺失关键字段

D2: 数据准确性 (权重 25%)

• 内容真实性：标题/正文与话题相关
• 数值准确性：点赞/评论/转发数合理

D3: 数据实用性 (权重 20%)

• 可用性：数据可直接用于分析
• 可操作性：包含必要的后续处理信息

D4: 反爬合规性 (权重 15%)

• 请求头规范性
• 频率控制合理性

D5: 数据新鲜度 (权重 15%)

• 时间戳准确性
• 数据时效性

---

评分标准

维度	0-60 分	60-80 分	80-100 分
D1 完整性	缺 3+ 字段	缺 1-2 字段	字段齐全
D2 准确性	数据明显错误	数据基本准确	数据完全准确
D3 实用性	无法使用	基本可用	高度可用
D4 合规性	完全不合规	部分合规	完全合规
D5 新鲜度	超 24h	1-24h

---

阈值规则

• good_testdata: 总分 ≥ 70
• bad_testdata: 总分

---

计算公式

总分 = D1*0.25 + D2*0.25 + D3*0.20 + D4*0.15 + D5*0.15

---

标注结果统计

指标	值
样本数	1
Good 数据	1
Bad 数据	0
平均分	82.75
最高分	82.75
最低分	82.75

---

Good 数据特征

1. 字段完整：6 个主要字段全部存在
2. 时间新鲜：数据时间戳
3. 结构可用：可直接用于后续分析

---

Bad 数据共性问题 (待补充)

暂无 bad_testdata

---

改进建议

1. 补充更多 crawl 样本用于标注
2. 关注 engagement 字段完整性 (comments/shares/read_count)
3. 补充 author 信息获取能力
4. 验证反爬合规性指标

---

创建时间: 2026-03-28 更新: v2 Digester