# 微博爬取 Benchmark 标准 (v2 - 最终版)

## 评分维度

### D1: 数据完整性 (权重 25%)
- 字段覆盖率：source, engagement, content, author, timestamp, metrics
- 数据结构完整性：无缺失关键字段

### D2: 数据准确性 (权重 25%)
- 内容真实性：标题/正文与话题相关
- 数值准确性：点赞/评论/转发数合理

### D3: 数据实用性 (权重 20%)
- 可用性：数据可直接用于分析
- 可操作性：包含必要的后续处理信息

### D4: 反爬合规性 (权重 15%)
- 请求头规范性
- 频率控制合理性

### D5: 数据新鲜度 (权重 15%)
- 时间戳准确性
- 数据时效性

---

## 评分标准

| 维度 | 0-60 分 | 60-80 分 | 80-100 分 |
|------|---------|----------|-----------|
| D1 完整性 | 缺 3+ 字段 | 缺 1-2 字段 | 字段齐全 |
| D2 准确性 | 数据明显错误 | 数据基本准确 | 数据完全准确 |
| D3 实用性 | 无法使用 | 基本可用 | 高度可用 |
| D4 合规性 | 完全不合规 | 部分合规 | 完全合规 |
| D5 新鲜度 | 超 24h | 1-24h | < 1h |

---

## 阈值规则

- **good_testdata**: 总分 ≥ 70
- **bad_testdata**: 总分 < 70

---

## 计算公式

```
总分 = D1*0.25 + D2*0.25 + D3*0.20 + D4*0.15 + D5*0.15
```

---

## 标注结果统计

| 指标 | 值 |
|------|-----|
| 样本数 | 1 |
| Good 数据 | 1 |
| Bad 数据 | 0 |
| 平均分 | 82.75 |
| 最高分 | 82.75 |
| 最低分 | 82.75 |

---

## Good 数据特征

1. **字段完整**：6 个主要字段全部存在
2. **时间新鲜**：数据时间戳 < 1h
3. **结构可用**：可直接用于后续分析

---

## Bad 数据共性问题 (待补充)

暂无 bad_testdata

---

## 改进建议

1. 补充更多 crawl 样本用于标注
2. 关注 engagement 字段完整性 (comments/shares/read_count)
3. 补充 author 信息获取能力
4. 验证反爬合规性指标

---

*创建时间: 2026-03-28*
*更新: v2*
*Digester*