微博热搜多榜爬取与数据整合 - 知识体系
概述
本文档整合 Hunter 调研产出，构建微博热搜多榜爬取与数据整合的知识体系。
核心能力
1. 多榜 API 爬取
| 榜单类型 |
API |
认证 |
评分 |
| 热搜榜 (type=hot) |
m.weibo.cn/api/index/list?type=hot |
无需 |
⭐⭐⭐⭐⭐ |
| 热点新闻 (type=brief) |
m.weibo.cn/api/index/list?type=brief |
无需 |
⭐⭐⭐⭐⭐ |
| 沸点 (type=fedu) |
m.weibo.cn/api/index/list?type=fedu |
无需 |
⭐⭐⭐⭐ |
| PC端热搜榜 |
weibo.com/ajax/side/hotSearch |
Cookie |
⭐⭐⭐⭐ |
2. 话题详情爬取
| 能力 |
API |
说明 |
| 话题搜索 |
container/getIndex?containerid=100103type%3D1%26q%3D{keyword} |
返回话题下微博列表 |
| 微博详情 |
statuses/extend?id={mid} |
获取微博正文和图片 |
3. 数据合并存储
- 多榜数据统一格式：hotword, num, icon, note
- 数据合并策略：按热度排序、去重、标签分类
- 存储结构：SQLite + JSON 双备份
4. 图片存储
| 域名 |
用途 |
wx1.sinaimg.cn ~ wx4.sinaimg.cn |
用户上传图片 |
ww1.sinaimg.cn |
头像 |
cfs.sinaimg.cn |
表情/GIF |
评分维度总结
| 维度 |
权重 |
Good 标准 |
Bad 特征 |
| API可用性 |
20% |
多榜API稳定+降级方案 |
API不稳定 |
| 数据完整性 |
15% |
5字段齐全 |
字段缺失 |
| 二次请求处理 |
15% |
完整实现 extend API |
未实现 |
| 字段覆盖率 |
15% |
mblog 核心字段全覆盖 |
字段覆盖不足 |
| 反爬合规性 |
10% |
频率控制+UA轮换 |
无合规措施 |
| 图片处理 |
10% |
CDN域名+Referer正确 |
未处理图片 |
| 简报质量 |
10% |
格式规范+多榜整合 |
格式混乱 |
| 扩展性 |
5% |
模块化+配置化 |
硬编码 |
Good 数据共性特征
- API 稳定: 使用移动端 API (
m.weibo.cn)，无需登录即可访问
- 数据结构完整: 包含 title, text, metrics, engagement 等核心字段
- 二次请求实现: 完整实现 extend API 调用获取完整正文
- 反爬措施: 有 Referer 设置、频率控制、UA 轮换意识
- CDN 理解: 了解新浪图片 CDN 结构和防盗链机制
- 多榜支持: 支持热搜/热点/沸点等多榜爬取
Bad 数据共性问题
- 数据缺失: engagement、metrics、author 字段缺失
- 无反爬: 缺少频率控制、UA 轮换、Cookie 管理
- 格式混乱: 输出格式不规范，难以解析
- 无扩展性: 硬编码 URL 或参数，无法配置
- 二次请求缺失: 未实现详情页 extend API 调用
改进建议
- 补充字段: 务必获取 likes, comments, shares, read_count
- 二次请求: 实现 extend API 获取完整正文和多图
- 添加反爬: 实现 UA 池、请求延迟(3-5秒)、Cookie 管理
- 降级方案: 准备 PC 端 API 作为移动端失效时的备选
- 图片处理: 正确设置 Referer (m.weibo.cn) 以绕过防盗链
- 模块化: 将 URL、参数、阈值抽离为配置项，支持多榜扩展
版本信息
| 版本 |
日期 |
更新内容 |
| v2 |
2026-03-29 |
新增多榜爬取评分标准 |
| v1 |
2026-03-28 |
初始化知识体系 |
整合时间: 2026-03-29
