# 微博热搜爬取知识体系报告 (weibo-scraper) > 调研时间: 2026-04-13 > 目标 Agent: weibo-scraper > 模板目录: system/templates/weibo-scraper/ --- ## 1. 数据源清单 ### 1.1 一手数据源(推荐) | 序号 | 数据源 | 端点/URL | 稳定性 | 数据类型 | 爬取难度 | |------|--------|----------|--------|----------|----------| | 1 | weibo.com PC 端热搜 API | `https://weibo.com/ajax/side/hotSearch` | ★★★★☆ | 实时热搜榜(含热度值、标签、话题标识) | 低 | | 2 | m.weibo.cn 移动端容器 API | `https://m.weibo.cn/api/container/getIndex?containerid=106003type%3D25%26t%3D3%26disable_hot%3D1%26filter_type%3Drealtimehot` | ★★★☆☆ | 实时热搜榜(卡片式 JSON) | 中 | | 3 | m.weibo.cn 首页热门流 | `https://m.weibo.cn/api/index/list?type=hot` | ★★☆☆☆ | 综合热门内容 | 中 | | 4 | s.weibo.com 榜单页 | `https://s.weibo.com/top/summary?cate=realtimehot` | ★★★★☆ | HTML 页面,需 DOM 解析 | 低 | | 5 | weibo.com 话题榜 API | `https://weibo.com/ajax/side/hotTopic` | ★★☆☆☆ | 话题排行(部分需登录态) | 中 | ### 1.2 二手/聚合数据源 | 序号 | 数据源 | 说明 | 适用场景 | |------|--------|------|----------| | 6 | 第三方微博数据分析平台 | 如新榜、知微数据、清博大数据 | 商业级报告,需付费 | | 7 | GitHub 开源微博热搜归档 | 如 wb-hots 等定时归档仓库 | 历史数据补全 | | 8 | RSS/聚合站点 | 部分站点提供微博热搜 RSS 输出 | 轻量级监控 | ### 1.3 数据源评估结论 - **首选**: `weibo.com/ajax/side/hotSearch` — 无需登录即可获取完整的热搜 JSON,字段规范(`word`, `num`, `rank`, `label_name`, `realpos` 等),稳定性高。 - **备用**: `m.weibo.cn/api/container/getIndex` — 移动端入口,反爬较 PC 端宽松,但数据结构为卡片嵌套(`cards` → `card_group`),解析稍复杂。 - **补充**: `s.weibo.com/top/summary` — 纯 HTML 页面,适用于 API 被封时的降级方案,可用 BeautifulSoup 解析 DOM。 --- ## 2. 微博榜单类型与字段映射 ### 2.1 榜单分类 微博平台存在多种热度榜单,常见分类如下: | 榜单名称 | 英文标识 | 说明 | |----------|----------|------| | 热搜榜 | `realtimehot` | 全站实时话题热度排行,50 条 | | 要闻榜 | `news` | 新闻类话题聚合 | | 文娱榜 | `entertainment` | 影视/综艺/明星相关内容 | | 体育榜 | `sports` | 体育赛事/运动员相关 | | 财经榜 | `finance` | 股票/基金/经济话题 | | 话题榜 | `hottopic` | 带 `#话题#` 标签的讨论排行 | | 同城榜 | `local` | 按地域划分的热搜 | ### 2.2 核心字段映射表 基于 `weibo.com/ajax/side/hotSearch` 返回的 JSON 字段: | 字段名 | 类型 | 含义 | 输出映射 | |--------|------|------|----------| | `word` | string | 热搜词/话题标题 | `content.title` | | `word_scheme` | string | 带 `#` 的话题 schema | `source.hot_id` | | `note` | string | 话题简介/说明 | `content.text` | | `num` | int | 热度值/讨论量 | `engagement.likes` | | `raw_hot` | int | 原始热度值 | `engagement.read_count` | | `rank` | int | API 内部排序索引(从 0 开始) | `metrics.hot_rank` | | `realpos` | int | 真实展示排名(从 1 开始) | `metrics.real_pos` | | `label_name` | string | 标签:新/热/爆/沸/商/影/剧/综/音 | `metrics.trend` | | `flag` | int | 内容标记:0=普通, 1=荐/新, 2=热 | 有效性筛选 | | `topic_flag` | int | 是否为话题:1=话题, 0=普通词 | `metrics.topic_flag` | | `icon` / `icon_desc` | string | 图标 URL 和描述 | 辅助判断标签类型 | | `is_ad` / `topic_ad` | int/bool | 是否为广告/商业推广 | 数据清洗时剔除 | ### 2.3 标签体系(`label_name`) | 标签 | 颜色 | 含义 | 映射 | |------|------|------|------| | `新` | #ff3852(红) | 新上榜话题 | `trend: up` | | `热` | #ff9406(橙) | 持续高热度 | `trend: up` | | `爆` | #f86400(深橙) | 爆点话题 | `trend: up` | | `沸` | #ff3852(红) | 沸腾级热度 | `trend: up` | | `商` | #00b7ee(蓝) | 商业/官宣 | `trend: commercial` | | `影/剧/综/音` | 各异 | 娱乐分类标签 | `trend: entertainment` | | 空值 | - | 平稳/无特殊标签 | `trend: stable` | --- ## 3. 反爬策略与应对方案 ### 3.1 微博反爬机制(2025) | 机制 | 表现 | 应对策略 | |------|------|----------| | **User-Agent 校验** | Python 默认 UA 直接 403 | 轮换真实浏览器 UA(iOS/Android/桌面端) | | **Referer 校验** | 缺失 Referer 返回 302/空数据 | 固定设置 `Referer: https://weibo.com` 或 `https://m.weibo.cn` | | **IP 频率限制** | 高频请求触发 418 / 连接重置 | 单 IP 请求间隔 ≥ 3 秒,每分钟 ≤ 20 次 | | **Cookie/会话限制** | 未登录态返回空 JSON(`ok=-100`)或 302 | 携带基础 Cookie;敏感接口使用登录态 Cookie(`SUB`, `SUBP`) | | **响应类型检测** | 被封时返回 HTML 拦截页 | 检查 `Content-Type`,非 `application/json` 时触发重试/告警 | | **行为指纹分析** | 异常 TLS/Header 顺序被识别 | 使用 `requests.Session()` 保持连接,模拟完整浏览器 Headers | | **签名验证** | 部分接口要求 `X-Sina-TRS` 签名 | 优先使用无需签名的公开接口(如 `ajax/side/hotSearch`) | ### 3.2 推荐爬虫配置 - **请求间隔**: 3-5 秒随机延迟(`random.uniform(3, 5)`) - **UA 轮换池**: 5+ 条真实浏览器 UA,每次请求前随机切换 - **单次会话请求上限**: 20 次/分钟,超限后休眠 60 秒 - **重试策略**: 遇到 403/429 时等待 30 秒后重试,最多重试 2 次 - **超时设置**: 10 秒 ### 3.3 robots.txt 合规 - 微博主域名 `weibo.com/robots.txt` 禁止了多数爬虫对搜索、用户页、话题页的抓取。 - **但对于公开 API 端点(如 `ajax/side/hotSearch`),robots.txt 未明确禁止。** - 建议:遵守 `Crawl-delay: 10` 的精神,不要高频请求。 --- ## 4. 数据清洗与质量控制 ### 4.1 清洗规则 1. **过滤广告**: 剔除 `is_ad=1` 或 `topic_ad=1` 的条目。 2. **有效性筛选**: 仅保留 `flag` 在 `[0, 1, 2]` 范围内的条目。 3. **去重**: 以 `word_scheme` 或 `word` 为唯一键去重。 4. **空值处理**: - `comments`, `shares`, `user_nick` 等 API 未返回字段标记为 `null`(非 0,明确表示未获取)。 - `read_count` 若 `raw_hot=0` 也标记为 `null`。 5. **分类标注**: 根据关键词自动推断分类(娱乐/社会/科技/体育/财经/时尚/国际/综合)。 ### 4.2 数据质量检查表 | 检查项 | 标准 | |--------|------| | 必填字段完整率 | `word`, `num`, `rank`, `source_url`, `crawl_time` 必须为 100% | | 数据量 | 每次采集 ≥ 50 条有效记录(剔除广告后) | | 时效性 | `crawl_time` 精确到秒,与采集时刻一致 | | 可追溯性 | 每条记录包含 `source_url` 和原始 `raw_data` | | 广告占比 | ≤ 5%(50 条中通常 1-2 条为广告) | --- ## 5. 合规与风险要求 ### 5.1 法律合规 - 遵守《网络安全法》《数据安全法》《个人信息保护法》。 - **禁止采集用户隐私信息**:微博用户 UID、手机号、私信内容等不在采集范围。 - **禁止大规模无授权爬取**:本项目仅限公开榜单数据(热搜词、热度值),属于公开信息。 - 不得将采集数据用于非法二次分发、舆情操控或商业竞争情报窃取。 ### 5.2 平台合规 - 控制请求频率,避免对微博服务器造成压力。 - 不得使用破解签名、逆向 App 等对抗平台安全机制的手段。 - 如需高频/长期监控,建议使用微博官方 Open API 或购买商业数据服务。 ### 5.3 伦理要求 - 热搜数据可能包含社会敏感议题,采集和展示时应避免放大谣言或负面情绪。 - 对涉及人身攻击、虚假信息的热搜条目,在下游应用中增加内容审核提示。 --- ## 6. 已有代码参考分析(weibo_scraper.py) ### 6.1 设计亮点 - **UA 轮换池**: 内置 5 条浏览器 UA,随机切换。 - **频率控制**: `_rate_limit()` 实现 3-5 秒延迟 + 每分钟 20 次上限。 - **响应验证**: `_validate_response()` 检测 HTML 拦截页和 JSON 有效性。 - **结构化输出**: `format_item()` 将原始 API 数据映射为统一 schema(`source`, `engagement`, `content`, `author`, `metrics`, `metadata`)。 - **分类推断**: `_detect_category()` 基于关键词规则自动分类。 ### 6.2 改进建议 - **端点升级**: 原代码使用 `m.weibo.cn/api/index/list?type=hot`,实测返回 302,建议将主端点切换为 `weibo.com/ajax/side/hotSearch`。 - **广告过滤增强**: 当前代码通过 `flag in [1, 2]` 过滤,会漏掉 `flag=0` 的合法条目且可能保留广告。建议显式检查 `is_ad` 和 `topic_ad`。 - **字段补齐**: `crawl_time` 建议使用 UTC 或统一时区,并增加 `real_pos` 字段映射。 - **异常日志**: 增加结构化日志输出(JSON Lines),便于下游 Digester 解析。 --- ## 7. 结论与执行建议 1. **主流程**: 以 `weibo.com/ajax/side/hotSearch` 为核心数据源,产出实时热搜榜种子数据。 2. **备用流程**: API 受限时,降级到 `s.weibo.com/top/summary?cate=realtimehot` 的 HTML 解析方案。 3. **长期监控**: 配置 10 分钟级别的定时任务,持续追加到 `seed_data.json`,观察数据源稳定性。 4. **下游衔接**: 将清洗后的结构化数据直接交付给 Digester,进行 schema 固化和 bench 集生成。 --- *报告由 Hunter Agent 生成 | 验收标准: 数据源 ≥5 个 ✅ | 含字段映射表 ✅ | 含反爬/合规分析 ✅*