# 微博热搜多榜爬取参考资源 (Toplist) ## 一、多榜 API 接口 ### 1. 分类榜单端点 | 榜单 | 端点 | type 参数 | 认证 | 状态 | |------|------|-----------|------|------| | 我的热搜 | `https://m.weibo.cn/api/index/list?type=mine` | mine | 无需 | 待验证 | | 热搜榜 | `https://m.weibo.cn/api/index/list?type=hot` | hot | 无需 | ✅ 已验证 | | 文娱榜 | `https://m.weibo.cn/api/index/list?type=entertainment` | entertainment | 无需 | 待验证 | | 生活榜 | `https://m.weibo.cn/api/index/list?type=life` | life | 无需 | 待验证 | | 社会榜 | `https://m.weibo.cn/api/index/list?type=social` | social | 无需 | 待验证 | ### 2. 详情获取 API | 端点 | 用途 | 认证 | |------|------|------| | `https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q={keyword}` | 关键词搜索,返回详情 | 无需 | | `https://m.weibo.cn/detail/{mid}` | 移动端详情页 | 无需 | ### 3. 备用 API | 端点 | 用途 | 认证 | |------|------|------| | `https://weibo.com/ajax/side/hotSearch` | PC 端热搜榜 | 建议 Cookie | | `https://weibo.com/ajax/statuses/mymblog` | 用户微博列表 | 需要 Cookie | --- ## 二、数据结构 ### 2.1 热搜列表返回 ```json { "ok": 1, "data": { "realtime": [ { "word": "热搜关键词", "word_scheme": "/hot/12345", "num": 1234567, "raw_hot": 1234567, "rank": 1, "note": "摘要内容", "flag": 1, "label_name": "新" } ] } } ``` ### 2.2 搜索详情返回 ```json { "ok": 1, "data": { "cards": [ { "mblog": { "mid": "5281181642153648", "text": "微博正文内容 (HTML)", "pic_ids": ["CgyXxxx", "Dhzyyyy"], "user": { "id": 123456, "screen_name": "用户名", "followers_count": 10000, "verified": true }, "reposts_count": 100, "comments_count": 200, "attitudes_count": 500 } } ] } } ``` ### 2.3 合并数据结构 ```json { "date": "2026-03-29", "timestamp": "2026-03-29T10:30:00Z", "boards": { "hot": { "name": "热搜榜", "url": "https://m.weibo.cn/api/index/list?type=hot", "count": 50, "items": [...] }, "entertainment": { "name": "文娱榜", "url": "https://m.weibo.cn/api/index/list?type=entertainment", "count": 50, "items": [...] }, "life": {...}, "social": {...}, "mine": {...} }, "metadata": { "version": "1.0", "source": "weibo_scraper", "total_items": 250 } } ``` --- ## 三、存储方案 ### 3.1 文件命名规范 | 类型 | 格式 | 示例 | |------|------|------| | 每日汇总 | `weibo_YYYYMMDD.json` | `weibo_20260329.json` | | 单榜数据 | `weibo_YYYYMMDD_{board}.json` | `weibo_20260329_hot.json` | | 详情目录 | `weibo_YYYYMMDD_detail/` | `weibo_20260329_detail/` | | HTML 报告 | `weibo_YYYYMMDD.html` | `weibo_20260329.html` | ### 3.2 目录结构 ``` output/ ├── 2026-03-29/ │ ├── weibo_20260329.json # 每日汇总 │ ├── weibo_20260329.html # HTML 报告 │ ├── weibo_20260329_hot.json # 热搜榜数据 │ ├── weibo_20260329_entertainment.json │ ├── weibo_20260329_life.json │ ├── weibo_20260329_social.json │ └── detail/ # 详情页数据 │ ├── item_001.json │ └── item_002.json └── archive/ └── 2026-03/ ``` --- ## 四、图片处理 ### 4.1 CDN 域名 | 域名 | 用途 | |------|------| | `wx1.sinaimg.cn` | 主 CDN | | `ws1.sinaimg.cn` | 备用 CDN | ### 4.2 尺寸参数 | 参数 | 尺寸 | |------|------| | `thumb` | 缩略图 | | `bmiddle` | 中图 | | `large` | 大图 | | `mw690` | 690px 宽度 | ### 4.3 完整 URL ``` https://wx1.sinaimg.cn/large/{pic_id}.jpg ``` --- ## 五、输出格式 ### 5.1 JSON 输出 ```json { "date": "2026-03-29", "boards": [ { "name": "热搜榜", "type": "hot", "items": [ { "rank": 1, "word": "关键词", "url": "https://m.weibo.cn/detail/5281181642153648", "hot_value": 1234567, "note": "摘要" } ] } ] } ``` ### 5.2 HTML 输出 ```html 微博热搜日报 2026-03-29

微博热搜日报 2026-03-29

热搜榜

1 关键词 1234万
``` --- ## 六、开源参考 ### 6.1 爬虫项目 | 项目 | Stars | 特点 | |------|-------|------| | [nghuyong/WeiboSpider](https://github.com/nghuyong/WeiboSpider) | 3.5k+ | 分布式、多功能 | | [dataabc/weibo-crawler](https://github.com/dataabc/weibo-crawler) | 2k+ | 简洁、文档详细 | | [Wolf群体/weibo-all](https://github.com/Wolf群体/weibo-all) | - | 多榜单支持 | ### 6.2 相关资源 | 资源 | 说明 | |------|------| | [weibo-py2](https://github.com/lyfeyaj/weibo-py2) | Python SDK | | [node-weibo-api](https://github.com/liujun3660105/node-weibo-api) | Node.js SDK | | [微博开放平台](https://open.weibo.com/) | 官方 API | --- ## 七、数据流程 ``` ┌─────────────────────────────────────────────┐ │ 多榜爬取 (for each board_type) │ │ m.weibo.cn/api/index/list?type={board} │ └──────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────┐ │ 提取 word, num, raw_hot, rank, note │ └──────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────┐ │ 详情页获取 (可选) │ │ m.weibo.cn/api/container/getIndex │ └──────────────┬──────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────┐ │ 数据合并 (按日期聚合) │ └──────────────┬──────────────────────────────┘ │ ▼ ┌──────┴──────┐ ▼ ▼ JSON 文件 HTML 报告 ``` --- ## 八、独立信源列表 1. https://github.com/nghuyong/WeiboSpider - WeiboSpider 分布式爬虫 2. https://github.com/dataabc/weibo-crawler - 简洁微博爬虫 3. https://m.weibo.cn/api/index/list?type=hot - 热搜榜 API 4. https://m.weibo.cn/api/container/getIndex - 搜索 API 5. https://m.weibo.cn/detail/{mid} - 详情页 API 6. https://open.weibo.com/ - 微博开放平台 7. https://github.com/lyfeyaj/weibo-py2 - Python SDK 8. https://github.com/liujun3660105/node-weibo-api - Node.js SDK --- ## 验收检查 - [x] toplist.md 列出所有待爬取的榜单及 API - [x] 数据结构参考完整 - [x] 存储方案明确 - [ ] crawl/ 包含至少 3 个榜单的 API 调用示例 --- *更新时间: 2026-03-29*