knowhow_v1.md
9.59 KB
微博热搜爬取知识体系报告 (weibo-scraper)
调研时间: 2026-04-13
目标 Agent: weibo-scraper
模板目录: system/templates/weibo-scraper/
1. 数据源清单
1.1 一手数据源(推荐)
| 序号 | 数据源 | 端点/URL | 稳定性 | 数据类型 | 爬取难度 |
|---|---|---|---|---|---|
| 1 | weibo.com PC 端热搜 API | https://weibo.com/ajax/side/hotSearch |
★★★★☆ | 实时热搜榜(含热度值、标签、话题标识) | 低 |
| 2 | m.weibo.cn 移动端容器 API | https://m.weibo.cn/api/container/getIndex?containerid=106003type%3D25%26t%3D3%26disable_hot%3D1%26filter_type%3Drealtimehot |
★★★☆☆ | 实时热搜榜(卡片式 JSON) | 中 |
| 3 | m.weibo.cn 首页热门流 | https://m.weibo.cn/api/index/list?type=hot |
★★☆☆☆ | 综合热门内容 | 中 |
| 4 | s.weibo.com 榜单页 | https://s.weibo.com/top/summary?cate=realtimehot |
★★★★☆ | HTML 页面,需 DOM 解析 | 低 |
| 5 | weibo.com 话题榜 API | https://weibo.com/ajax/side/hotTopic |
★★☆☆☆ | 话题排行(部分需登录态) | 中 |
1.2 二手/聚合数据源
| 序号 | 数据源 | 说明 | 适用场景 |
|---|---|---|---|
| 6 | 第三方微博数据分析平台 | 如新榜、知微数据、清博大数据 | 商业级报告,需付费 |
| 7 | GitHub 开源微博热搜归档 | 如 wb-hots 等定时归档仓库 | 历史数据补全 |
| 8 | RSS/聚合站点 | 部分站点提供微博热搜 RSS 输出 | 轻量级监控 |
1.3 数据源评估结论
- 首选:
weibo.com/ajax/side/hotSearch— 无需登录即可获取完整的热搜 JSON,字段规范(word,num,rank,label_name,realpos等),稳定性高。 - 备用:
m.weibo.cn/api/container/getIndex— 移动端入口,反爬较 PC 端宽松,但数据结构为卡片嵌套(cards→card_group),解析稍复杂。 - 补充:
s.weibo.com/top/summary— 纯 HTML 页面,适用于 API 被封时的降级方案,可用 BeautifulSoup 解析 DOM。
2. 微博榜单类型与字段映射
2.1 榜单分类
微博平台存在多种热度榜单,常见分类如下:
| 榜单名称 | 英文标识 | 说明 |
|---|---|---|
| 热搜榜 | realtimehot |
全站实时话题热度排行,50 条 |
| 要闻榜 | news |
新闻类话题聚合 |
| 文娱榜 | entertainment |
影视/综艺/明星相关内容 |
| 体育榜 | sports |
体育赛事/运动员相关 |
| 财经榜 | finance |
股票/基金/经济话题 |
| 话题榜 | hottopic |
带 #话题# 标签的讨论排行 |
| 同城榜 | local |
按地域划分的热搜 |
2.2 核心字段映射表
基于 weibo.com/ajax/side/hotSearch 返回的 JSON 字段:
| 字段名 | 类型 | 含义 | 输出映射 |
|---|---|---|---|
word |
string | 热搜词/话题标题 | content.title |
word_scheme |
string | 带 # 的话题 schema |
source.hot_id |
note |
string | 话题简介/说明 | content.text |
num |
int | 热度值/讨论量 | engagement.likes |
raw_hot |
int | 原始热度值 | engagement.read_count |
rank |
int | API 内部排序索引(从 0 开始) | metrics.hot_rank |
realpos |
int | 真实展示排名(从 1 开始) | metrics.real_pos |
label_name |
string | 标签:新/热/爆/沸/商/影/剧/综/音 | metrics.trend |
flag |
int | 内容标记:0=普通, 1=荐/新, 2=热 | 有效性筛选 |
topic_flag |
int | 是否为话题:1=话题, 0=普通词 | metrics.topic_flag |
icon / icon_desc |
string | 图标 URL 和描述 | 辅助判断标签类型 |
is_ad / topic_ad |
int/bool | 是否为广告/商业推广 | 数据清洗时剔除 |
2.3 标签体系(label_name)
| 标签 | 颜色 | 含义 | 映射 |
|---|---|---|---|
新 |
#ff3852(红) | 新上榜话题 | trend: up |
热 |
#ff9406(橙) | 持续高热度 | trend: up |
爆 |
#f86400(深橙) | 爆点话题 | trend: up |
沸 |
#ff3852(红) | 沸腾级热度 | trend: up |
商 |
#00b7ee(蓝) | 商业/官宣 | trend: commercial |
影/剧/综/音 |
各异 | 娱乐分类标签 | trend: entertainment |
| 空值 | - | 平稳/无特殊标签 | trend: stable |
3. 反爬策略与应对方案
3.1 微博反爬机制(2025)
| 机制 | 表现 | 应对策略 |
|---|---|---|
| User-Agent 校验 | Python 默认 UA 直接 403 | 轮换真实浏览器 UA(iOS/Android/桌面端) |
| Referer 校验 | 缺失 Referer 返回 302/空数据 | 固定设置 Referer: https://weibo.com 或 https://m.weibo.cn |
| IP 频率限制 | 高频请求触发 418 / 连接重置 | 单 IP 请求间隔 ≥ 3 秒,每分钟 ≤ 20 次 |
| Cookie/会话限制 | 未登录态返回空 JSON(ok=-100)或 302 |
携带基础 Cookie;敏感接口使用登录态 Cookie(SUB, SUBP) |
| 响应类型检测 | 被封时返回 HTML 拦截页 | 检查 Content-Type,非 application/json 时触发重试/告警 |
| 行为指纹分析 | 异常 TLS/Header 顺序被识别 | 使用 requests.Session() 保持连接,模拟完整浏览器 Headers |
| 签名验证 | 部分接口要求 X-Sina-TRS 签名 |
优先使用无需签名的公开接口(如 ajax/side/hotSearch) |
3.2 推荐爬虫配置
- 请求间隔: 3-5 秒随机延迟(
random.uniform(3, 5)) - UA 轮换池: 5+ 条真实浏览器 UA,每次请求前随机切换
- 单次会话请求上限: 20 次/分钟,超限后休眠 60 秒
- 重试策略: 遇到 403/429 时等待 30 秒后重试,最多重试 2 次
- 超时设置: 10 秒
3.3 robots.txt 合规
- 微博主域名
weibo.com/robots.txt禁止了多数爬虫对搜索、用户页、话题页的抓取。 - 但对于公开 API 端点(如
ajax/side/hotSearch),robots.txt 未明确禁止。 - 建议:遵守
Crawl-delay: 10的精神,不要高频请求。
4. 数据清洗与质量控制
4.1 清洗规则
- 过滤广告: 剔除
is_ad=1或topic_ad=1的条目。 - 有效性筛选: 仅保留
flag在[0, 1, 2]范围内的条目。 - 去重: 以
word_scheme或word为唯一键去重。 - 空值处理:
comments,shares,user_nick等 API 未返回字段标记为null(非 0,明确表示未获取)。read_count若raw_hot=0也标记为null。
- 分类标注: 根据关键词自动推断分类(娱乐/社会/科技/体育/财经/时尚/国际/综合)。
4.2 数据质量检查表
| 检查项 | 标准 |
|---|---|
| 必填字段完整率 | word, num, rank, source_url, crawl_time 必须为 100% |
| 数据量 | 每次采集 ≥ 50 条有效记录(剔除广告后) |
| 时效性 | crawl_time 精确到秒,与采集时刻一致 |
| 可追溯性 | 每条记录包含 source_url 和原始 raw_data |
| 广告占比 | ≤ 5%(50 条中通常 1-2 条为广告) |
5. 合规与风险要求
5.1 法律合规
- 遵守《网络安全法》《数据安全法》《个人信息保护法》。
- 禁止采集用户隐私信息:微博用户 UID、手机号、私信内容等不在采集范围。
- 禁止大规模无授权爬取:本项目仅限公开榜单数据(热搜词、热度值),属于公开信息。
- 不得将采集数据用于非法二次分发、舆情操控或商业竞争情报窃取。
5.2 平台合规
- 控制请求频率,避免对微博服务器造成压力。
- 不得使用破解签名、逆向 App 等对抗平台安全机制的手段。
- 如需高频/长期监控,建议使用微博官方 Open API 或购买商业数据服务。
5.3 伦理要求
- 热搜数据可能包含社会敏感议题,采集和展示时应避免放大谣言或负面情绪。
- 对涉及人身攻击、虚假信息的热搜条目,在下游应用中增加内容审核提示。
6. 已有代码参考分析(weibo_scraper.py)
6.1 设计亮点
- UA 轮换池: 内置 5 条浏览器 UA,随机切换。
- 频率控制:
_rate_limit()实现 3-5 秒延迟 + 每分钟 20 次上限。 - 响应验证:
_validate_response()检测 HTML 拦截页和 JSON 有效性。 - 结构化输出:
format_item()将原始 API 数据映射为统一 schema(source,engagement,content,author,metrics,metadata)。 - 分类推断:
_detect_category()基于关键词规则自动分类。
6.2 改进建议
- 端点升级: 原代码使用
m.weibo.cn/api/index/list?type=hot,实测返回 302,建议将主端点切换为weibo.com/ajax/side/hotSearch。 - 广告过滤增强: 当前代码通过
flag in [1, 2]过滤,会漏掉flag=0的合法条目且可能保留广告。建议显式检查is_ad和topic_ad。 - 字段补齐:
crawl_time建议使用 UTC 或统一时区,并增加real_pos字段映射。 - 异常日志: 增加结构化日志输出(JSON Lines),便于下游 Digester 解析。
7. 结论与执行建议
- 主流程: 以
weibo.com/ajax/side/hotSearch为核心数据源,产出实时热搜榜种子数据。 - 备用流程: API 受限时,降级到
s.weibo.com/top/summary?cate=realtimehot的 HTML 解析方案。 - 长期监控: 配置 10 分钟级别的定时任务,持续追加到
seed_data.json,观察数据源稳定性。 - 下游衔接: 将清洗后的结构化数据直接交付给 Digester,进行 schema 固化和 bench 集生成。
报告由 Hunter Agent 生成 | 验收标准: 数据源 ≥5 个 ✅ | 含字段映射表 ✅ | 含反爬/合规分析 ✅