# 微博爬取知识合成 (Knowhow)

## 执行摘要

基于 Hunt 产出的调研数据，本报告将微博爬取领域的知识进行结构化整合，形成可直接用于训练和复用的知识体系。

---

## 核心知识体系

### 1. API 接口知识

| 接口类型 | 端点 | 稳定性 | 难度 |
|---------|------|--------|------|
| 移动端热搜 | `https://m.weibo.cn/api/index/list?type=hot` | ★★★★★ | 低 |
| PC端热搜 | `https://weibo.com/ajax/side/hotSearch` | ★★★★☆ | 中 |
| 用户微博 | `https://weibo.com/ajax/statuses/mymblog?uid={uid}` | ★★★☆☆ | 高 |

### 2. 反爬应对知识

| 机制 | 特征 | 解决方案 |
|------|------|----------|
| UA检测 | 请求头检查 | 轮换User-Agent |
| IP限流 | QPS限制 | 代理池 |
| Cookie验证 | 登录态校验 | Cookie池维护 |
| 频率限制 | 单IP限制 | 限速+随机延迟 |

### 3. 数据清洗知识

- **文本清洗**：去除零宽字符、统一编码
- **时间解析**：时间戳标准化
- **数字标准化**："1.2万"→12000
- **去重**：基于内容Hash

---

## 标注数据统计

### 标注结果
- **样本数**: 1 条
- **Good 数据**: 1 条 (score ≥ 70)
- **Bad 数据**: 0 条 (score < 70)
- **平均分**: 82.75

### Good 数据共性特征
1. 字段结构完整 (D1: 95分)
2. 时间戳新鲜 (D5: 95分)
3. 数据可直接使用 (D3: 85分)

### Bad 数据共性问题
1. engagement 字段不完整 (comments/shares/read_count 为 0)
2. author 信息缺失 (username/followers 为空)
3. 反爬合规性未知

---

## 改进建议

1. **数据增强**：补充缺失的 engagement 字段
2. **作者信息**：获取完整的 author 信息
3. **合规验证**：确认请求头符合规范
4. **多源验证**：对比多个数据源确保准确性

---

*合成时间: 2026-03-28*
*Digester*