# 微博热搜多榜爬取与数据整合 - 知识体系

## 概述

本文档整合 Hunter 调研产出，构建微博热搜多榜爬取与数据整合的知识体系。

---

## 核心能力

### 1. 多榜 API 爬取

| 榜单类型 | API | 认证 | 评分 |
|---------|-----|------|------|
| 热搜榜 (type=hot) | `m.weibo.cn/api/index/list?type=hot` | 无需 | ⭐⭐⭐⭐⭐ |
| 热点新闻 (type=brief) | `m.weibo.cn/api/index/list?type=brief` | 无需 | ⭐⭐⭐⭐⭐ |
| 沸点 (type=fedu) | `m.weibo.cn/api/index/list?type=fedu` | 无需 | ⭐⭐⭐⭐ |
| PC端热搜榜 | `weibo.com/ajax/side/hotSearch` | Cookie | ⭐⭐⭐⭐ |

### 2. 话题详情爬取

| 能力 | API | 说明 |
|------|-----|------|
| 话题搜索 | `container/getIndex?containerid=100103type%3D1%26q%3D{keyword}` | 返回话题下微博列表 |
| 微博详情 | `statuses/extend?id={mid}` | 获取微博正文和图片 |

### 3. 数据合并存储

- 多榜数据统一格式：hotword, num, icon, note
- 数据合并策略：按热度排序、去重、标签分类
- 存储结构：SQLite + JSON 双备份

### 4. 图片存储

| 域名 | 用途 |
|------|------|
| `wx1.sinaimg.cn` ~ `wx4.sinaimg.cn` | 用户上传图片 |
| `ww1.sinaimg.cn` | 头像 |
| `cfs.sinaimg.cn` | 表情/GIF |

---

## 评分维度总结

| 维度 | 权重 | Good 标准 | Bad 特征 |
|------|------|----------|----------|
| API可用性 | 20% | 多榜API稳定+降级方案 | API不稳定 |
| 数据完整性 | 15% | 5字段齐全 | 字段缺失 |
| 二次请求处理 | 15% | 完整实现 extend API | 未实现 |
| 字段覆盖率 | 15% | mblog 核心字段全覆盖 | 字段覆盖不足 |
| 反爬合规性 | 10% | 频率控制+UA轮换 | 无合规措施 |
| 图片处理 | 10% | CDN域名+Referer正确 | 未处理图片 |
| 简报质量 | 10% | 格式规范+多榜整合 | 格式混乱 |
| 扩展性 | 5% | 模块化+配置化 | 硬编码 |

---

## Good 数据共性特征

1. **API 稳定**: 使用移动端 API (`m.weibo.cn`)，无需登录即可访问
2. **数据结构完整**: 包含 title, text, metrics, engagement 等核心字段
3. **二次请求实现**: 完整实现 extend API 调用获取完整正文
4. **反爬措施**: 有 Referer 设置、频率控制、UA 轮换意识
5. **CDN 理解**: 了解新浪图片 CDN 结构和防盗链机制
6. **多榜支持**: 支持热搜/热点/沸点等多榜爬取

---

## Bad 数据共性问题

1. **数据缺失**: engagement、metrics、author 字段缺失
2. **无反爬**: 缺少频率控制、UA 轮换、Cookie 管理
3. **格式混乱**: 输出格式不规范，难以解析
4. **无扩展性**: 硬编码 URL 或参数，无法配置
5. **二次请求缺失**: 未实现详情页 extend API 调用

---

## 改进建议

1. **补充字段**: 务必获取 likes, comments, shares, read_count
2. **二次请求**: 实现 extend API 获取完整正文和多图
3. **添加反爬**: 实现 UA 池、请求延迟(3-5秒)、Cookie 管理
4. **降级方案**: 准备 PC 端 API 作为移动端失效时的备选
5. **图片处理**: 正确设置 Referer (m.weibo.cn) 以绕过防盗链
6. **模块化**: 将 URL、参数、阈值抽离为配置项，支持多榜扩展

---

## 版本信息

| 版本 | 日期 | 更新内容 |
|------|------|----------|
| v2 | 2026-03-29 | 新增多榜爬取评分标准 |
| v1 | 2026-03-28 | 初始化知识体系 |

---

*整合时间: 2026-03-29*