# 微博爬取知识合成 (Knowhow v2)

## 执行摘要

基于 Hunt 产出的 6 个 crawl 数据项进行全量标注，本报告将微博爬取领域的知识进行结构化整合，形成可直接用于训练和复用的知识体系。

---

## 核心知识体系

### 1. API 接口知识

| 接口类型 | 端点 | 稳定性 | 难度 |
|---------|------|--------|------|
| 移动端热搜 | `https://m.weibo.cn/api/index/list?type=hot` | ★★★★★ | 低 |
| PC端热搜 | `https://weibo.com/ajax/side/hotSearch` | ★★★★☆ | 中 |
| 用户微博 | `https://weibo.com/ajax/statuses/mymblog?uid={uid}` | ★★★☆☆ | 高 |

### 2. 反爬应对知识

| 机制 | 特征 | 解决方案 |
|------|------|----------|
| UA检测 | 请求头检查 | 轮换User-Agent |
| IP限流 | QPS限制 | 代理池 |
| Cookie验证 | 登录态校验 | Cookie池维护 |
| 频率限制 | 单IP限制 | 限速+随机延迟 |

### 3. 数据清洗知识

- **文本清洗**：去除零宽字符、统一编码
- **时间解析**：时间戳标准化
- **数字标准化**："1.2万"→12000
- **去重**：基于内容Hash

---

## 标注数据统计

### 标注结果
- **样本数**: 11 条 (6 good + 5 bad)
- **Good 数据**: 6 条 (score ≥ 70)
- **Bad 数据**: 5 条 (score < 70)
- **平均分**: 74.32
- **最高分**: 88.0 (good_06_api_reference.md)
- **最低分**: 48.0 (bad_04_stale_data.json)

### Good 数据共性特征
1. **字段结构完整** - 6 个主要字段全覆盖
2. **代码示例可用** - 提供可直接使用的代码
3. **时间戳新鲜** - 数据时间 < 24h 或内容具有长期价值

### Bad 数据共性问题
1. **engagement 字段缺失** - comments/shares/read_count 为 0 或空
2. **author 信息缺失** - username/followers/verified 为空
3. **字段严重缺失** - 缺 3+ 关键字段
4. **数据过期** - 时间戳 > 24h
5. **数据无效** - 负数、空字符串等

---

## 改进建议

1. **数据增强**：补充缺失的 engagement 字段 (comments/shares/read_count)
2. **作者信息**：获取完整的 author 信息 (username/followers/verified)
3. **数据验证**：增加数值合理性检查（负数检测、空值检测）
4. **新鲜度保障**：确保数据时间戳 < 24h
5. **多源验证**：对比多个数据源确保准确性

---

## 输出文件清单

```
digest/
├── benchmark_v3.md           ← 最终版评分标准 (v3)
├── diff_report_v2_v3.md      ← 版本差异报告
├── knowhow.md               ← 知识合成 (本文件)
├── good_testdata/
│   ├── good_01_hotsearch.json
│   ├── good_02_mobile_api.json
│   ├── good_03_github_projects.md
│   ├── good_04_anticrawling.md
│   ├── good_05_dataclean.md
│   └── good_06_api_reference.md
└── bad_testdata/
    ├── bad_01_engagement_missing.json
    ├── bad_02_author_empty.json
    ├── bad_03_incomplete_fields.json
    ├── bad_04_stale_data.json
    └── bad_05_invalid_data.json
```

---

*合成时间: 2026-03-28*
*Digester*