knowhow_v1.md 9.59 KB

微博热搜爬取知识体系报告 (weibo-scraper)

调研时间: 2026-04-13
目标 Agent: weibo-scraper
模板目录: system/templates/weibo-scraper/


1. 数据源清单

1.1 一手数据源(推荐)

序号 数据源 端点/URL 稳定性 数据类型 爬取难度
1 weibo.com PC 端热搜 API https://weibo.com/ajax/side/hotSearch ★★★★☆ 实时热搜榜(含热度值、标签、话题标识) 低
2 m.weibo.cn 移动端容器 API https://m.weibo.cn/api/container/getIndex?containerid=106003type%3D25%26t%3D3%26disable_hot%3D1%26filter_type%3Drealtimehot ★★★☆☆ 实时热搜榜(卡片式 JSON) 中
3 m.weibo.cn 首页热门流 https://m.weibo.cn/api/index/list?type=hot ★★☆☆☆ 综合热门内容 中
4 s.weibo.com 榜单页 https://s.weibo.com/top/summary?cate=realtimehot ★★★★☆ HTML 页面,需 DOM 解析 低
5 weibo.com 话题榜 API https://weibo.com/ajax/side/hotTopic ★★☆☆☆ 话题排行(部分需登录态) 中

1.2 二手/聚合数据源

序号 数据源 说明 适用场景
6 第三方微博数据分析平台 如新榜、知微数据、清博大数据 商业级报告,需付费
7 GitHub 开源微博热搜归档 如 wb-hots 等定时归档仓库 历史数据补全
8 RSS/聚合站点 部分站点提供微博热搜 RSS 输出 轻量级监控

1.3 数据源评估结论

  • 首选: weibo.com/ajax/side/hotSearch — 无需登录即可获取完整的热搜 JSON,字段规范(word, num, rank, label_name, realpos 等),稳定性高。
  • 备用: m.weibo.cn/api/container/getIndex — 移动端入口,反爬较 PC 端宽松,但数据结构为卡片嵌套(cards → card_group),解析稍复杂。
  • 补充: s.weibo.com/top/summary — 纯 HTML 页面,适用于 API 被封时的降级方案,可用 BeautifulSoup 解析 DOM。

2. 微博榜单类型与字段映射

2.1 榜单分类

微博平台存在多种热度榜单,常见分类如下:

榜单名称 英文标识 说明
热搜榜 realtimehot 全站实时话题热度排行,50 条
要闻榜 news 新闻类话题聚合
文娱榜 entertainment 影视/综艺/明星相关内容
体育榜 sports 体育赛事/运动员相关
财经榜 finance 股票/基金/经济话题
话题榜 hottopic 带 #话题# 标签的讨论排行
同城榜 local 按地域划分的热搜

2.2 核心字段映射表

基于 weibo.com/ajax/side/hotSearch 返回的 JSON 字段:

字段名 类型 含义 输出映射
word string 热搜词/话题标题 content.title
word_scheme string 带 # 的话题 schema source.hot_id
note string 话题简介/说明 content.text
num int 热度值/讨论量 engagement.likes
raw_hot int 原始热度值 engagement.read_count
rank int API 内部排序索引(从 0 开始) metrics.hot_rank
realpos int 真实展示排名(从 1 开始) metrics.real_pos
label_name string 标签:新/热/爆/沸/商/影/剧/综/音 metrics.trend
flag int 内容标记:0=普通, 1=荐/新, 2=热 有效性筛选
topic_flag int 是否为话题:1=话题, 0=普通词 metrics.topic_flag
icon / icon_desc string 图标 URL 和描述 辅助判断标签类型
is_ad / topic_ad int/bool 是否为广告/商业推广 数据清洗时剔除

2.3 标签体系(label_name)

标签 颜色 含义 映射
新 #ff3852(红) 新上榜话题 trend: up
热 #ff9406(橙) 持续高热度 trend: up
爆 #f86400(深橙) 爆点话题 trend: up
沸 #ff3852(红) 沸腾级热度 trend: up
商 #00b7ee(蓝) 商业/官宣 trend: commercial
影/剧/综/音 各异 娱乐分类标签 trend: entertainment
空值 - 平稳/无特殊标签 trend: stable

3. 反爬策略与应对方案

3.1 微博反爬机制(2025)

机制 表现 应对策略
User-Agent 校验 Python 默认 UA 直接 403 轮换真实浏览器 UA(iOS/Android/桌面端)
Referer 校验 缺失 Referer 返回 302/空数据 固定设置 Referer: https://weibo.com 或 https://m.weibo.cn
IP 频率限制 高频请求触发 418 / 连接重置 单 IP 请求间隔 ≥ 3 秒,每分钟 ≤ 20 次
Cookie/会话限制 未登录态返回空 JSON(ok=-100)或 302 携带基础 Cookie;敏感接口使用登录态 Cookie(SUB, SUBP)
响应类型检测 被封时返回 HTML 拦截页 检查 Content-Type,非 application/json 时触发重试/告警
行为指纹分析 异常 TLS/Header 顺序被识别 使用 requests.Session() 保持连接,模拟完整浏览器 Headers
签名验证 部分接口要求 X-Sina-TRS 签名 优先使用无需签名的公开接口(如 ajax/side/hotSearch)

3.2 推荐爬虫配置

  • 请求间隔: 3-5 秒随机延迟(random.uniform(3, 5))
  • UA 轮换池: 5+ 条真实浏览器 UA,每次请求前随机切换
  • 单次会话请求上限: 20 次/分钟,超限后休眠 60 秒
  • 重试策略: 遇到 403/429 时等待 30 秒后重试,最多重试 2 次
  • 超时设置: 10 秒

3.3 robots.txt 合规

  • 微博主域名 weibo.com/robots.txt 禁止了多数爬虫对搜索、用户页、话题页的抓取。
  • 但对于公开 API 端点(如 ajax/side/hotSearch),robots.txt 未明确禁止。
  • 建议:遵守 Crawl-delay: 10 的精神,不要高频请求。

4. 数据清洗与质量控制

4.1 清洗规则

  1. 过滤广告: 剔除 is_ad=1 或 topic_ad=1 的条目。
  2. 有效性筛选: 仅保留 flag 在 [0, 1, 2] 范围内的条目。
  3. 去重: 以 word_scheme 或 word 为唯一键去重。
  4. 空值处理:
    • comments, shares, user_nick 等 API 未返回字段标记为 null(非 0,明确表示未获取)。
    • read_count 若 raw_hot=0 也标记为 null。
  5. 分类标注: 根据关键词自动推断分类(娱乐/社会/科技/体育/财经/时尚/国际/综合)。

4.2 数据质量检查表

检查项 标准
必填字段完整率 word, num, rank, source_url, crawl_time 必须为 100%
数据量 每次采集 ≥ 50 条有效记录(剔除广告后)
时效性 crawl_time 精确到秒,与采集时刻一致
可追溯性 每条记录包含 source_url 和原始 raw_data
广告占比 ≤ 5%(50 条中通常 1-2 条为广告)

5. 合规与风险要求

5.1 法律合规

  • 遵守《网络安全法》《数据安全法》《个人信息保护法》。
  • 禁止采集用户隐私信息:微博用户 UID、手机号、私信内容等不在采集范围。
  • 禁止大规模无授权爬取:本项目仅限公开榜单数据(热搜词、热度值),属于公开信息。
  • 不得将采集数据用于非法二次分发、舆情操控或商业竞争情报窃取。

5.2 平台合规

  • 控制请求频率,避免对微博服务器造成压力。
  • 不得使用破解签名、逆向 App 等对抗平台安全机制的手段。
  • 如需高频/长期监控,建议使用微博官方 Open API 或购买商业数据服务。

5.3 伦理要求

  • 热搜数据可能包含社会敏感议题,采集和展示时应避免放大谣言或负面情绪。
  • 对涉及人身攻击、虚假信息的热搜条目,在下游应用中增加内容审核提示。

6. 已有代码参考分析(weibo_scraper.py)

6.1 设计亮点

  • UA 轮换池: 内置 5 条浏览器 UA,随机切换。
  • 频率控制: _rate_limit() 实现 3-5 秒延迟 + 每分钟 20 次上限。
  • 响应验证: _validate_response() 检测 HTML 拦截页和 JSON 有效性。
  • 结构化输出: format_item() 将原始 API 数据映射为统一 schema(source, engagement, content, author, metrics, metadata)。
  • 分类推断: _detect_category() 基于关键词规则自动分类。

6.2 改进建议

  • 端点升级: 原代码使用 m.weibo.cn/api/index/list?type=hot,实测返回 302,建议将主端点切换为 weibo.com/ajax/side/hotSearch。
  • 广告过滤增强: 当前代码通过 flag in [1, 2] 过滤,会漏掉 flag=0 的合法条目且可能保留广告。建议显式检查 is_ad 和 topic_ad。
  • 字段补齐: crawl_time 建议使用 UTC 或统一时区,并增加 real_pos 字段映射。
  • 异常日志: 增加结构化日志输出(JSON Lines),便于下游 Digester 解析。

7. 结论与执行建议

  1. 主流程: 以 weibo.com/ajax/side/hotSearch 为核心数据源,产出实时热搜榜种子数据。
  2. 备用流程: API 受限时,降级到 s.weibo.com/top/summary?cate=realtimehot 的 HTML 解析方案。
  3. 长期监控: 配置 10 分钟级别的定时任务,持续追加到 seed_data.json,观察数据源稳定性。
  4. 下游衔接: 将清洗后的结构化数据直接交付给 Digester,进行 schema 固化和 bench 集生成。

报告由 Hunter Agent 生成 | 验收标准: 数据源 ≥5 个 ✅ | 含字段映射表 ✅ | 含反爬/合规分析 ✅