# 微博爬取知识猎取报告 (v3 - 详情页爬取 + 简报生成) ## 执行摘要 本报告针对微博热点内容爬取领域进行深度调研,涵盖API接口分析、反爬机制应对、数据清洗方案、详情页爬取能力和简报生成能力。微博作为中国最具影响力的社交媒体平台之一,其热搜榜和热门微博数据具有极高的商业价值和舆情分析意义。 --- ## Phase 1: 问题澄清 ### 核心研究问题 1. **微博热搜榜API接口**:如何稳定获取微博热搜数据?有哪些官方/非官方接口? 2. **反爬机制应对**:微博的反爬策略有哪些?如何绕过或应对? 3. **数据清洗与结构化**:如何将原始微博数据清洗为结构化数据? 4. **热门微博采集**:如何批量采集特定账号或话题的热门微博? 5. **实时性保障**:如何确保数据采集的时效性和稳定性? 6. **详情页爬取**:如何从热搜详情页 URL 提取完整正文内容? 7. **图片提取**:如何从详情页提取并保存图片? 8. **简报生成**:如何将爬取内容整理成【文字+图片简报】? --- ## Phase 2: 微博爬取方法论 (Knowhow) ### 2.1 热搜榜API接口 #### 官方接口 - **移动端API**:`https://m.weibo.cn/api/index/list?type=hot` - 返回JSON格式数据 - 需要携带基础请求头 - 无需登录,反爬最弱 - **PC端API**:`https://weibo.com/ajax/side/hotSearch` - 返回实时热搜数据 - 需要Cookie模拟 #### 非官方接口 - **热搜详情**:`https://weibo.com/ajax/statuses/mymblog` - 获取用户热门微博 - **超话榜单**:需要登录态 #### 话题搜索API - **端点**:`https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D{keyword}` ### 2.2 反爬机制分析 | 机制类型 | 特征 | 应对策略 | |---------|------|----------| | User-Agent检测 | 检查请求头 | 轮换UA字符串 | | IP限流 | 短时间大量请求 | IP代理池 | | Cookie验证 | 登录态校验 | 维护Cookie池 | | 请求频率限制 | 单IP QPS限制 | 限速 + 随机延迟 | | 验证码 | 行为异常触发 | 打码平台/机器学习 | | 详情页反爬 | 内容加密/分段加载 | 模拟登录/代理IP | ### 2.3 数据清洗流程 ``` 原始数据 → 去除HTML标签 → 去除表情符号 → 去除特殊字符 → 统一编码 → 分词处理 → 结构化输出 ``` #### 清洗要点 1. **文本清洗**:去除`\u200b`等零宽字符,统一换行符 2. **时间解析**:将微博时间戳转换为标准时间格式 3. **数字标准化**:将"1.2万"转换为"12000" 4. **去重**:基于内容Hash去重 ### 2.4 详情页爬取能力 #### 详情页URL识别 - 从热搜榜数据中提取 `m.weibo.cn/detail/{mid}` 格式URL - 部分热点提供 PC 端 `weibo.com/detail/{mid}` URL #### 详情页内容提取 - **API方式**:`https://m.weibo.cn/statuses/show?id={mid}` - **页面解析**:使用 Puppeteer/Playwright 渲染后提取 - **注意事项**: - 详情页有更强的反爬机制 - 需要维护 Cookie 池 - 建议使用代理IP轮换 #### 常见问题 - 内容被分段加载(需要滚动触发) - 图片使用延迟加载(data-src vs src) - 视频内容需要额外API获取 ### 2.5 图片提取能力 #### 图片URL获取 - 从 `content.media_urls` 字段获取预提取的图片URL - 从详情页 DOM 中提取 `img[data-src]` 属性 - 微博图片域名:`wx1.sinaimg.cn` ~ `wx4.sinaimg.cn` #### 图片下载策略 - 使用异步并发下载(控制并发数) - 重试机制(3次重试) - 保存到本地目录(按日期/话题分类) #### 图片处理 - 保持原始尺寸和格式 - 可选:压缩、裁剪、添加水印 ### 2.6 简报生成能力 #### 简报格式 支持两种格式: 1. **Markdown**(推荐):`.md` 文件,便于阅读和转换 2. **HTML**:`.html` 文件,便于网页展示 #### 简报结构 ```markdown # 微博热点简报 ## 基本信息 - 发布时间: {timestamp} - 来源: {author.username} - 热度: 排名 {hot_rank} | 热度值 {hot_score} ## 核心内容 {content.title} {content.text} ## 互动数据 - 点赞: {likes} - 评论: {comments} - 转发: {shares} - 阅读: {read_count} ## 关联图片 ![图片描述](images/xxx.jpg) ## 原始链接 {url} ``` #### 输出管理 - 按日期创建目录:`output/2026-03-28/` - 文件命名:`brief_{rank}_{title}.md` - 图片目录:`output/2026-03-28/images/` ### 2.7 代理池建设 - **代理来源**: luminati、Oxylabs、smartproxy - **代理验证**:定时检测代理可用性 - **代理策略**:按地域、运营商分类 ### 2.8 技术栈选择 | 场景 | 推荐技术 | 说明 | |------|----------|------| | 大规模采集 | Python + Scrapy | 分布式支持,生态完善 | | 学习入门 | Python + requests | 代码简洁,文档丰富 | | 轻量集成 | Node.js + axios | 异步高效,易于集成 | | 浏览器模拟 | Puppeteer/Playwright | 绕过JS渲染 | | 数据存储 | MySQL/MongoDB | 关系型/文档型 | | 详情页渲染 | Playwright | 反爬最强场景 | ### 2.9 增量采集策略 - **时间戳记录**:记录上次采集时间 - **ID游标**:利用微博ID自增特性 - **断点续传**:支持中断后恢复 - **增量更新**:只采集新增数据 ### 2.10 数据存储方案 | 数据类型 | 存储方案 | 优点 | |----------|----------|------| | 实时数据 | Redis | 读写快,支持TTL | | 历史数据 | MySQL | 事务支持,查询方便 | | 大规模数据 | MongoDB | 文档存储,扩展性强 | | 日志数据 | Elasticsearch | 全文检索,分析方便 | --- ## Phase 3: 标杆案例 (Toplist) ### 3.1 开源项目 | 项目 | Stars | 特点 | |------|-------|------| | https://github.com/nghuyong/WeiboSpider | 3.5k+ | 分布式微博爬虫,支持多账号 | | https://github.com/lesx1/weibo-crawler | 500+ | 轻量级方案 | | https://github.com/dataabc/weibo-crawler | 2k+ | 简洁高效 | ### 3.2 微博数据源 | 来源 | 类型 | 覆盖范围 | |------|------|----------| | 热搜榜 | 实时 | Top 50 | | 热门微博 | 推荐 | 个性化推荐 | | 超话 | 社区 | 垂直话题 | | 博主微博 | 账号 | 指定用户 | | 详情页 | 深度 | 热点新闻正文 | ### 3.3 数据格式参考 ```json { "source": { "platform": "weibo", "category": "综合", "hot_id": "#话题#", "url": "链接" }, "engagement": { "likes": 316436, "comments": 0, "shares": 0, "read_count": 0 }, "content": { "title": "标题", "text": "正文", "media_urls": ["图片URL1", "图片URL2"], "category_tags": ["分类"] }, "author": { "username": "用户名", "followers": 0, "verified": false }, "timestamp": "时间戳", "metrics": { "hot_rank": 0, "hot_score": 0, "trend": "up" } } ``` --- ## Phase 4: 洞察与建议 ### 4.1 核心洞察 1. **接口稳定性**:移动端API(m.weibo.cn)比PC端更稳定,反爬较弱 2. **Cookie维护**:建议使用多个账号轮换,降低单账号风险 3. **数据质量**:热搜数据可信度高,热门推荐数据噪音较大 4. **合规建议**:遵守robots.txt,合理控制请求频率 5. **技术选型**:Python生态(WeiboSpider)最成熟,Node.js适合轻量场景 6. **代理策略**:高可用代理池是大规模采集的关键 7. **数据清洗**:零宽字符和表情符号是最常见的数据噪音 8. **详情页爬取**:详情页反爬比热搜榜更强,需要更强应对策略 9. **图片提取**:media_urls 提供预提取图片URL,减少页面解析工作 10. **简报生成**:Markdown格式最通用,建议作为默认输出格式 ### 4.2 实施建议 1. **优先级**:移动端API > PC端API > 页面爬取 2. **容错**:降级方案(API失败→页面解析→简报降级) 3. **监控**:异常报警(请求失败率>10%,详情页失败率>30%) 4. **存储**:实时数据→Redis,持久化→MySQL/MongoDB 5. **增量采集**:利用时间戳和ID实现断点续传 6. **详情页处理**:使用 Playwright 渲染 + 代理IP池 7. **简报模板**:标准化 Markdown 模板,保证输出一致性 ### 4.3 常见陷阱 | 陷阱 | 说明 | 规避 | |------|------|------| | 编码问题 | 微博使用GB2312/GBK | 统一UTF-8 | | 登录态失效 | Cookie过期 | 自动刷新机制 | | 频率限制 | QPS超过阈值 | 限速器 | | 数据延迟 | 缓存导致延迟 | 直接请求API | | 零宽字符 | 隐藏字符导致匹配失败 | 正则过滤\u200b-\u200d | | 表情符号 | [哈哈]格式影响文本分析 | 正则替换\[.*?\] | | 详情页反爬 | 内容加密/分段加载 | Playwright渲染 | | 图片延迟加载 | data-src属性 | 等待渲染后提取 | | 简报缺失图片 | media_urls为空 | 备用方案:详情页提取 | --- ## 附录:新增功能产出示例 ### 简报产出示例 ``` output/2026-03-28/ ├── brief_01_地震.md ├── brief_02_电影.md ├── brief_03_科技.md └── images/ ├── abc123.jpg ├── def456.jpg └── movie_poster.jpg ``` --- *报告生成时间:2026-03-28* *研究员:Hunter* *更新:v3 - 详情页爬取 + 简报生成*