微博爬取 Benchmark 标准 (v1)

评分维度

D1: 数据完整性 (权重 25%)

• 字段覆盖率：source, engagement, content, author, timestamp, metrics
• 数据结构完整性：无缺失关键字段

D2: 数据准确性 (权重 25%)

• 内容真实性：标题/正文与话题相关
• 数值准确性：点赞/评论/转发数合理

D3: 数据实用性 (权重 20%)

• 可用性：数据可直接用于分析
• 可操作性：包含必要的后续处理信息

D4: 反爬合规性 (权重 15%)

• 请求头规范性
• 频率控制合理性

D5: 数据新鲜度 (权重 15%)

• 时间戳准确性
• 数据时效性

---

评分标准

维度	0-60 分	60-80 分	80-100 分
D1 完整性	缺 3+ 字段	缺 1-2 字段	字段齐全
D2 准确性	数据明显错误	数据基本准确	数据完全准确
D3 实用性	无法使用	基本可用	高度可用
D4 合规性	完全不合规	部分合规	完全合规
D5 新鲜度	超 24h	1-24h

---

阈值规则

• good_testdata: 总分 ≥ 70
• bad_testdata: 总分

---

计算公式

总分 = D1*0.25 + D2*0.25 + D3*0.20 + D4*0.15 + D5*0.15

---

创建时间: 2026-03-28 版本: v1