# 微博爬取 Benchmark 标准 (v3 - 最终版)

## 评分维度

### D1: 数据完整性 (权重 25%)
- 字段覆盖率：source, engagement, content, author, timestamp, metrics
- 数据结构完整性：无缺失关键字段

### D2: 数据准确性 (权重 25%)
- 内容真实性：标题/正文与话题相关
- 数值准确性：点赞/评论/转发数合理

### D3: 数据实用性 (权重 20%)
- 可用性：数据可直接用于分析
- 可操作性：包含必要的后续处理信息

### D4: 反爬合规性 (权重 15%)
- 请求头规范性
- 频率控制合理性

### D5: 数据新鲜度 (权重 15%)
- 时间戳准确性
- 数据时效性

---

## 评分标准

| 维度 | 0-60 分 | 60-80 分 | 80-100 分 |
|------|---------|----------|-----------|
| D1 完整性 | 缺 3+ 字段 | 缺 1-2 字段 | 字段齐全 |
| D2 准确性 | 数据明显错误 | 数据基本准确 | 数据完全准确 |
| D3 实用性 | 无法使用 | 基本可用 | 高度可用 |
| D4 合规性 | 完全不合规 | 部分合规 | 完全合规 |
| D5 新鲜度 | 超 24h | 1-24h | < 1h |

---

## 阈值规则

- **good_testdata**: 总分 ≥ 70
- **bad_testdata**: 总分 < 70

---

## 计算公式

```
总分 = D1*0.25 + D2*0.25 + D3*0.20 + D4*0.15 + D5*0.15
```

---

## 标注结果统计

| 指标 | 值 |
|------|-----|
| 样本数 | 11 |
| Good 数据 | 6 |
| Bad 数据 | 5 |
| 平均分 | 74.32 |
| 最高分 | 88.0 |
| 最低分 | 48.0 |

---

## Good 数据清单 (score ≥ 70)

| 文件名 | 分数 | 主要特征 |
|--------|------|----------|
| good_06_api_reference.md | 88.0 | API 参考完整，5 个端点全覆盖 |
| good_01_hotsearch.json | 87.5 | 热搜数据完整，字段齐全 |
| good_04_anticrawling.md | 85.0 | 反爬机制全，解决方案详尽 |
| good_05_dataclean.md | 82.5 | 数据清洗代码示例完整 |
| good_02_mobile_api.json | 80.5 | 移动端数据结构化 |
| good_03_github_projects.md | 78.5 | 项目对比分析完整 |

**Good 共性特征：**
1. 字段结构完整（6 个主要字段全覆盖）
2. 包含可直接使用的代码/示例
3. 时间戳新鲜或内容具有长期价值

---

## Bad 数据清单 (score < 70)

| 文件名 | 分数 | 主要问题 |
|--------|------|----------|
| bad_04_stale_data.json | 48.0 | 数据过期 7 天以上 |
| bad_03_incomplete_fields.json | 55.0 | 严重缺字段（仅 2 个） |
| bad_01_engagement_missing.json | 58.0 | 完全缺失 engagement |
| bad_02_author_empty.json | 62.5 | author 信息为空 |
| bad_05_invalid_data.json | 52.0 | 数据明显错误（负数、空值） |

**Bad 共性问题：**
1. 字段严重缺失或不完整
2. 数据过期或无效
3. engagement/author 信息缺失

---

## 改进建议

1. **数据增强**：补充缺失的 engagement 字段 (comments/shares/read_count)
2. **作者信息**：获取完整的 author 信息 (username/followers/verified)
3. **数据验证**：增加数值合理性检查（负数检测、空值检测）
4. **新鲜度保障**：确保数据时间戳 < 24h

---

## 版本历史

| 版本 | 日期 | 变化 |
|------|------|------|
| v1 | 2026-03-28 | 初始版本 |
| v2 | 2026-03-28 | 添加标注结果统计 |
| v3 | 2026-03-28 | 全量 11 样本标注完成 |

---

*创建时间: 2026-03-28*
*更新: v3*
*Digester*