knowhow_v1.md 22.2 KB

Edit Raw Blame History Permalink


中国社交媒体趋势监控深度调研报告 — trend-scout-cn

调研目标: 为 trend-scout-cn 模板 Agent 构建中国主流社交平台趋势捕获与内容挖掘知识体系
生成时间: 2026-04-13
产出 Agent: Hunter
验收标准: 数据源 ≥5 个 ✅ | 含字段映射表 ✅ | 含反爬/合规分析 ✅


1. 平台生态概览
1.1 国内核心社交平台矩阵


平台
月活用户
核心内容形态
趋势发现价值
爬取难度


微博
5.8亿
短图文、热搜话题
时事热点、娱乐八卦、舆论风向
低-中（热搜公开）


抖音
7亿+
短视频、直播
爆款 BGM、挑战赛、网红梗、流行配乐
高（强反爬）


小红书
3亿+
图文笔记、短视频
生活方式、消费趋势、女性情绪风向
高（需登录）


B站（哔哩哔哩）
3.3亿
中长视频、弹幕
二次元、鬼畜文化、知识区、Z世代热点
中（官方 API）


知乎
1亿+
问答、专栏
深度讨论、社会议题、专业领域趋势
中（搜索页需登录）


百度指数
数亿
搜索指数
全网搜索热词、关键词趋势走势
低（官方工具）


微信指数
13亿+
公众号/视频号
私域热点、重大事件扩散轨迹
中（需 Token）


豆瓣
2亿+
小组评论、评分
影视综口碑、文青圈层文化
中（小组需登录）


1.2 内容形态与趋势类型映射


内容形态
代表平台
趋势特征
示例热词


热搜话题
微博、知乎
爆发快、衰减快、社会性强
#职场维权 #明星塌房


短视频BGM
抖音、B站
病毒式传播、周期短
「科目三」配乐


生活方式笔记
小红书
种草属性强、UGC丰富
「早C晚A」护肤公式


鬼畜/二创
B站
圈层文化强、梗生命周期长
「鸡你太美」持续发酵


知识问答
知乎
深度讨论、观点碰撞
「AI是否取代程序员」


互动分支剧情
抖音、B站
高参与度、多结局
互动剧、剧情选择视频


短剧/漫剧
抖音、快手、小红书
情绪爽点密集、完播率驱动
「霸总重生」「系统觉醒」


2. 各平台 API 与数据端点详解
2.1 微博热搜（Weibo Hot Search）
主力数据源 — 实时热搜总榜


端点: https://weibo.com/ajax/side/hotSearch
认证要求: 无需登录（公开接口）
请求方法: GET
推荐请求头:
json
{
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Accept": "application/json, text/plain, */*",
"Accept-Language": "zh-CN,zh;q=0.9",
"Referer": "https://weibo.com/",
"X-Requested-With": "XMLHttpRequest",
"Connection": "keep-alive"
}

返回字段说明:


JSON 字段
含义
类型
备注


word
热搜词条
string
核心字段


num
热度数值
int
纯数字，如 1172178


realpos
实际排名
int
1~N


label_name
标签
string
热/新/爆/沸/荐


flag
标签类型码
int
0=无, 1=新, 2=热, 3=爆


note
备注文本
string
通常与 word 一致


word_scheme
话题格式
string
带 # 包裹，如 #话题#


topic_flag
是否话题
int
1=话题, 0=普通词


raw_hot
原始热度
int
部分条目有


返回结构示例:
json
{
"ok": 1,
"data": {
  "hotgov": { ... },
  "realtime": [
    {
      "word": "员工中了1500万彩票后直接离职",
      "num": 1172178,
      "realpos": 1,
      "label_name": "沸",
      "word_scheme": "#员工中了1500万彩票后直接离职#",
      "topic_flag": 1
    }
  ]
}
}

更新频率: 约每 5 分钟更新一次
风控等级: 低（单 IP 间隔 ≥30 秒即可）
已失效入口: s.weibo.com (强制 visitor 验证), m.weibo.cn (需移动端 Cookie)


扩展榜单（需登录 Cookie）


榜单名称
端点
认证


文娱榜
https://weibo.com/ajax/statuses/entertainment
需 SUB Cookie


社会榜
https://weibo.com/ajax/statuses/society
需 SUB Cookie


生活榜
https://weibo.com/ajax/statuses/life
需 SUB Cookie


体育榜
https://weibo.com/ajax/statuses/sport
需 SUB Cookie


科技榜
https://weibo.com/ajax/statuses/tech
需 SUB Cookie


第三方聚合备用 API


服务
端点
认证
稳定性


60s读世界
https://60s.viki.moe/v2/weibo
无 Key
良好


XXAPI
https://v2.xxapi.cn/api/weibohot
无 Key
良好


AA1.cn
https://api.aa1.cn/api/weibo-rs
无 Key
一般


2.2 抖音热点（Douyin Hot List）
官方热点数据


端点: https://www.douyin.com/hot (SSR 页面)
APP 数据端点: https://www.douyin.com/aweme/v1/web/hot/search/list/ (需签名)
网页版反爬: User-Agent 检测 + TLS 指纹 + 请求签名
推荐策略: 使用 Playwright/Selenium 渲染页面提取热点数据
可提取字段: 热搜词、排名、热度值、话题标签


第三方数据（推荐用于快速启动）


服务
说明
可用性


飞瓜数据
付费平台，提供抖音/B站/快手热榜
需注册付费


蝉妈妈
同上，侧重电商数据
需注册付费


新榜
新媒体榜单聚合
部分免费


抖音热榜聚合
https://www.douyin.com/hot/list
需渲染


热点榜单类型:


榜单
说明
趋势价值


抖音热搜榜
全网热点事件
时事、娱乐


上升榜
快速攀升话题
趋势萌芽信号


话题榜
挑战赛/话题标签
营销/文化热点


BGM 音乐榜
热门配乐
内容创作趋势


2.3 B站排行榜（Bilibili Ranking）
官方 API（主力数据源）


热门总榜: https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all
分区排行: https://api.bilibili.com/x/web-interface/ranking/v2?rid={分区ID}&type=all
认证: 无需登录，Referer 头即可
请求头:
json
{
"User-Agent": "Mozilla/5.0",
"Referer": "https://www.bilibili.com"
}

返回字段:


JSON 字段
含义


bvid
视频 BV 号（唯一标识）


title
视频标题


owner.name
UP 主名称


stat.view
播放量


stat.like
点赞数


stat.coin
投币数


stat.favorite
收藏数


stat.danmaku
弹幕数


tname
内容分区


desc
视频简介


分区 ID 对照:


分区 ID
名称


1
动画


3
音乐


4
游戏


5
娱乐


11
电视剧


13
番剧


36
科技


119
鬼畜


129
舞蹈


2.4 小红书（Xiaohongshu）
数据采集难点:


强反爬机制: APP 接口需签名算法（X-s、X-t 等加密 Header）
Web 端限制: 搜索页需登录态，非登录用户展示受限
数据价值: 生活方式、消费趋势、UGC 种草数据


可用入口:


入口
URL
认证要求
备注


搜索页
https://www.xiaohongshu.com/search_result?keyword={kw}
可选（有限制）
需 Selenium 渲染


Discovery
https://www.xiaohongshu.com/explore
需登录
推荐笔记来源


话题页
https://www.xiaohongshu.com/explore/tag/{tag}
需登录
话题趋势


可提取字段:


笔记标题、内容摘要
作者名称、粉丝数
点赞、收藏、评论数
笔记标签（#话题标签）
发布时间


推荐采集策略:


使用 Playwright 登录后保持 Cookie Session
搜索关键词页面，每次翻页间隔 3-5 秒
解析 .note-item 或 .__timeline-mainFeed 下的笔记卡片


2.5 知乎热榜（Zhihu Hot）
数据端点:


数据类型
端点
认证要求


知乎热榜
https://api.zhihu.com/topstory/hot-lists/total?limit=50
可选（Referer 限制）


搜索结果
https://www.zhihu.com/search?q={kw}&type=content
需登录


问题热榜
https://www.zhihu.com/topics/{topic_id}/hot
可选


可用请求头:
{
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...",
  "Accept": "application/json",
  "Referer": "https://www.zhihu.com/"
}


返回字段:


JSON 字段
含义


target.title
问题/文章标题


target.excerpt
内容摘要


target.answer_count
回答数


target.follower_count
关注数


target.comment_count
评论数


target.created
创建时间戳


target.updated_time
更新时间戳


target.heat_percent
热力百分比


2.6 百度指数（Baidu Index）
数据端点:


搜索指数: https://index.baidu.com/api/SearchApi/vol?word={encoded_word}&days=30
需求图谱: https://index.baidu.com/api/WordGraph/monitorGet?wordlist={encoded_words}
资讯指数: https://index.baidu.com/api/NewsApi/vol?word={encoded_word}&days=30


认证: 需要百度账号登录后的 Token（BDUSS Cookie）

数据价值:


全网搜索热词趋势
关键词随时间的变化曲线
相关词热度对比
地域分布、人口属性分布


2.7 微信指数（WeChat Index）
数据端点:


搜索入口: 微信内搜索「微信指数」小程序，输入关键词查询
API: 非公开，需企业微信或第三方服务


第三方数据:


服务
说明


微信开放平台数据
部分付费接口


清博指数
公众号/视频号排名


新榜
微信生态数据


3. 数据解析与规范化
3.1 标准数据 Schema
每条趋势条目统一使用以下 Schema：
{
  "trend_id": "string (UUID 或 hash)",
  "platform": "string (weibo|douyin|bilibili|xiaohongshu|zhihu|baidu|wechat)",
  "board_type": "string (热搜|热榜|话题|搜索指数)",
  "keyword": "string (热搜词/话题/标题)",
  "rank": "integer (排名)",
  "heat_score": "integer (热度值，标准化为整数)",
  "category": "string (娱乐|社会|科技|生活|体育|... 归类标签)",
  "label": "string (热|新|爆|沸|荐 或 null)",
  "is_topic": "integer (0|1 是否为话题)",
  "snippet": "string (内容摘要或描述)",
  "author": "string (发布者，可选)",
  "likes": "integer (点赞数，可选)",
  "comments_count": "integer (评论数，可选)",
  "shares": "integer (转发/分享数，可选)",
  "sentiment": "string (positive|neutral|negative, 可选)",
  "source_url": "string (原始数据 URL)",
  "crawl_time": "ISO8601 时间戳",
  "extra": "object (各平台原始字段快照)"
}


必填字段: trend_id, platform, keyword, rank, source_url, crawl_time
3.2 字段映射表（各平台 → 标准 Schema）


标准字段
微博 hotSearch
B站 ranking API
知乎热榜 API
抖音热点页


keyword
word
title
target.title
需 DOM 解析


rank
realpos
数组索引+1
数组索引+1
需 DOM 解析


heat_score
num
stat.view
target.heat_percent
需 DOM 解析


category
推断（标签词分析）
tname
target.topic.zh_column.name
需 DOM 解析


label
label_name
—
—
需 DOM 解析


is_topic
topic_flag
—
—
—


author
—
owner.name
—
—


likes
—
stat.like
—
—


3.3 数据清洗规则

热度值标准化: 所有热度值统一为整数，去除「万」「亿」后缀（如 117万 → 1170000）
Unicode 解码: JSON 中所有 Unicode 转义字符解码为 UTF-8
去重键: keyword + platform + board_type + hour_bucket(crawl_time)（按小时去重）
空值处理: 缺失必填字段的条目标记为 null 而非空字符串
时间处理: 所有时间统一为 ISO8601 UTC 格式（如 2026-04-13T10:32:00Z）
HTML 清理: 去除标题中的 HTML 标签和特殊转义字符


4. 趋势分类体系
4.1 内容类型分类


一级分类
二级分类
代表热词
价值评估


娱乐明星
影视综、偶像、音乐、综艺
IU新剧首播、浪姐排名
高（流量保障）


社会事件
时政、法律、民生、突发事件
男子地铁辱骂、鼠咬热确诊
高（爆款潜力）


科技数码
手机新品、AI 技术、数码测评
OPPO Find X9 官宣
中（专业受众）


生活方式
美食、健身、护肤、旅行
早C晚A、蓝莓养胃
高（种草价值）


游戏电竞
手游、电竞比赛、ACG
BLG 赛事、防代拍
高（Z世代触达）


鬼畜/二创
鬼畜调教、Meme、表情包
鸡你太美、科目三
极高（病毒传播）


互动内容
互动剧、互动游戏、分支剧情
选择影响结局的短视频
高（用户参与度）


短剧/漫剧
系统流、霸总文、乙女向
恶雌文、系统觉醒
极高（完播率驱动）


知识科普
科学常识、健康、法律知识
医学科普、社会议题
中（长尾价值）


4.2 趋势信号分层模型


层级
定义
平台特征
Agent 响应策略


L1 萌芽
小众圈层讨论
搜索量低但互动率高、收藏率高
建立监控清单，加入观察队列


L2 爆发
进入平台热榜
搜索量/播放量指数增长、热搜进榜
快速评估内容改编潜力


L3 成熟
主流媒体跟进
全网皆知、跟风模仿开始
捕捉差异化切入点


4.3 互动剧专项趋势标签池
核心热词矩阵:


维度
热词池


类型标签
互动剧、互动游戏、分支剧情、沉浸式剧场、选择式短视频


漫剧专项
漫剧、动态漫画、有声漫画、AI漫剧、3D奇幻、兽世、星际、西幻


乙女/后宫
乙女、galgame、后宫番、逆后宫、恶雌文、系统流、心动值、黑化值


短剧热词
霸总重生、先婚后爱、重生复仇、甜宠、虐恋、闪婚、契约婚姻、穿书、系统觉醒


设计要素
System UI、选择点、情绪悬崖、心动值面板、结局收集、全图鉴


5. 反爬虫机制与应对策略
5.1 各平台反爬强度评估


平台
反爬等级
主要机制
绕过难度


微博热搜（公开 API）
低-中
UA 检测、IP 限频
易（补全 Headers + 间隔 30s）


微博垂直榜单
高
Cookie/SUB 验证、Token 校验
中（维护 Cookie 池）


抖音
极高
TLS 指纹、JS 混淆、设备指纹、IP 画像
难（建议 Playwright 或付费 API）


小红书
极高
签名算法（X-s/X-t）、设备指纹、频率检测
难（建议登录态 Playwright）


B站
中
Referer 校验、频率限制
易（Referer + 间隔 5s）


知乎
中
UA/Referer 限制、登录墙
中（维护登录态）


百度指数
高
登录态 BDUSS Token
中（手动登录获取 Token）


5.2 通用应对策略
策略一: Headers 完善
{
  "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
  "Accept": "application/json, text/plain, */*",
  "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
  "Accept-Encoding": "gzip, deflate, br",
  "Referer": "https://{platform}.com/",
  "X-Requested-With": "XMLHttpRequest",
  "sec-ch-ua": "\"Not_A Brand\";v=\"8\", \"Chromium\";v=\"120\"",
  "sec-ch-ua-mobile": "?0",
  "sec-ch-ua-platform": "\"macOS\"",
  "Sec-Fetch-Dest": "empty",
  "Sec-Fetch-Mode": "cors",
  "Sec-Fetch-Site": "same-origin",
  "Connection": "keep-alive"
}


策略二: 频率控制


平台
推荐间隔
日最大请求


微博热搜 API
≥30 秒


B站 API
≥5 秒
无明确限制


知乎热榜
≥10 秒


小红书
≥5 秒


抖音
≥10 秒


策略三: Cookie 池维护


手动登录各平台，导出 SUB / XSRF-TOKEN / BDUSS 等关键 Cookie
使用 Playwright/Selenium 定期自动扫码登录
准备 3-5 个账号轮换，降低单账号风控触发概率
Cookie 有效期监测，过期前自动刷新


策略四: 代理池


推荐住宅代理（Residential Proxy）而非数据中心 IP
抖音和小红书对 IP 画像分析严格，代理质量直接影响成功率
代理池至少 5-10 个 IP 轮换


策略五: 浏览器自动化（终极方案）

适用于强反爬平台（抖音、小红书）:
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    context = browser.new_context(
        user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1"
    )
    page = context.new_page()
    page.goto("https://www.douyin.com/hot")
    page.wait_for_load_state("networkidle")
    # 提取热点数据
    items = page.query_selector_all(".hot-item")
    for item in items:
        title = item.query_selector(".title").inner_text()
        rank = item.query_selector(".rank").inner_text()
        # 存储...


6. 合规要求与最佳实践
6.1 法律合规边界

robots.txt 遵守: 各平台 robots.txt 限制的路径禁止爬取
隐私保护: 禁止采集用户手机号、UID 批量信息、私信内容等个人隐私数据
版权边界: 仅采集公开榜单数据，禁止深度抓取受版权保护的文章/视频内容
使用授权: 商业项目建议接入平台官方 API 或购买正规数据服务

6.2 数据存储规范

每条记录必须保留 source_url 和 crawl_time（双重溯源）
数据存储建议使用 SQLite + JSON 字段，便于全文检索
热数据（24h 内）建议存放在快速读写的 Redis 或内存缓存中
归档数据按天分区，便于按时间范围查询

6.3 更新策略


数据类型
推荐更新频率
缓存策略


微博热搜
每 15-30 分钟
实时覆盖


B站排行榜
每 1 小时
增量更新


小红书话题
每 2 小时
按话题 ID 缓存


知乎热榜
每 30 分钟
实时覆盖


百度指数
每日一次
T-1 数据即可


7. 数据源优先级与推荐采集路径
7.1 推荐采集路径（优先级排序）
Tier 1 — 零门槛、公开 API


微博热搜总榜 (weibo.com/ajax/side/hotSearch) — 最稳定的主数据源
B站热门排行榜 (api.bilibili.com/x/web-interface/ranking/v2) — 字段完整、更新稳定
知乎热榜 (api.zhihu.com/topstory/hot-lists/total) — 深度内容洞察


Tier 2 — 需登录态或渲染


小红书搜索/话题 — 高价值生活方式数据，需 Playwright 登录态
微博垂直榜单（文娱/社会/生活）— 需 SUB Cookie 池


Tier 3 — 付费/强反爬


抖音热点 — TLS 指纹 + 签名，需 Playwright 或第三方付费 API
百度指数 — 需 BDUSS Token，建议手动维护


Tier 4 — 第三方聚合平台


飞瓜数据 / 蝉妈妈 / 新榜 — 付费，但数据最全面
60s API / XXAPI / AA1 — 免费降级数据源，字段精简

7.2 快速启动方案
对于 zero-to-hero 的场景，建议按以下顺序实现:
Step 1: 微博热搜 API → 获取稳定基准数据
Step 2: B站排行榜 API → 获取视频内容趋势
Step 3: 知乎热榜 API → 获取深度讨论话题
Step 4: 小红书 Playwright → 生活方式趋势
Step 5: 抖音 Playwright → 短视频热点


8. 数据源参考
8.1 官方 API 文档

微博开放平台: https://open.weibo.com/wiki
B站开放平台: https://open.bilibili.com
抖音开放平台: https://open.douyin.com
知乎 API（非官方）: https://github.com/zhihuupup/api

8.2 第三方数据服务


服务
官网
数据范围


新榜
newrank.cn
微信公众号、抖音、B站等全平台


飞瓜数据
feigua.cn
抖音、快手、B站数据


蝉妈妈
chanmama.com
抖音电商数据


清博指数
gsdata.cn
公众号、微博、抖音指数


百度指数
index.baidu.com
全网搜索趋势


8.3 开源爬虫参考

WeiboSpider: https://github.com/jinfagang/WeiboSpider
BilibiliDanmu: 各平台弹幕采集开源项目
ZhihuAPI: 非官方知乎 API Python 封装


9. 总结与 Agent 执行建议
9.1 trend-scout-cn 核心知识域

多平台监控体系: 微博热搜 + B站排行 + 知乎热榜 = 三足鼎立，覆盖热搜/视频/深度三个维度
热词与标签追踪: 互动剧、短剧、乙女、漫剧相关关键词池持续更新
评论区情感挖掘: 槽点与期待点的结构化提取，为剧情改编提供素材
趋势信号分级: 萌芽→爆发→成熟的三层响应策略，对应不同采集频率
反爬协同: 针对不同平台选择合适的采集策略（公开 API / Cookie 池 / Playwright）

9.2 Agent 采集频率建议


优先级
数据源
采集频率


P0
微博热搜
每 15 分钟


P0
B站热门
每 1 小时


P1
知乎热榜
每 30 分钟


P1
小红书（关键词）
每 2 小时


P2
微博垂直榜
每 1 小时


P2
抖音热点
每 30 分钟


P3
百度指数
每日 1 次


9.3 输出规范

所有采集结果统一输出为 JSON Lines 格式（.jsonl）
文件命名: {platform}_{board_type}_{YYYYMMDDHH}.jsonl
每个文件最大 10MB，超出自动分片
数据经清洗后存入 data/trends/{platform}/ 目录


报告由 Hunter Agent 生成 | trend-scout-cn Hunt Phase v1
生成时间: 2026-04-13 | 覆盖平台: 微博/抖音/B站/小红书/知乎/百度指数/微信指数