# trend-scout-cn Skill Definition ## 1. 任务目标 采集并监控中国主流社交媒体平台的实时趋势数据,输出结构化、标准化的趋势情报。覆盖平台包括:bilibili(B站)、baidu(百度)、toutiao(头条)、zhihu(知乎)、douban(豆瓣)、weibo(微博)、douyin(抖音)、xiaohongshu(小红书)、jjwxc(晋江)。 ## 2. 数据准确性规范 ### 2.1 必填字段 (required fields) 每条趋势记录必须包含以下核心字段: - `platform` — 来源平台标识 - `rank` — 排名序号 - `topic` — 话题/标题文本 - `category` — 内容分类 - `source_url` — 原始链接 - `timestamp` — 数据发布时间 - `crawl_time` — 采集时间 ### 2.2 可选字段 - `hot_value` — 热度值(数值型,缺失或非法时回退为 0) - `author` — 作者/UP主(允许空字符串或匿名用户) - `likes` — 点赞/互动数 - `duration` — 持续时长或内容周期 ### 2.3 边界数据处理 - **null 回退**:当 `hot_value` 为 null、非法字符串或负数时,默认值回退为 `0`。 - **空字符串保留**:`topic` 或 `author` 解析到空字符串时保留空字符串,不报错、不截断。 - **超长标题**:标题字段完整透传,不进行截断处理。 - **原始空格保留**:知乎 `display_query` 包含空格时保留原始空格格式。 - **HTML 实体解码**:对百度等 HTML 片段进行 HTML 实体解码(HTML escape 解码)。 ## 3. 反爬策略 (Anti-Crawl Strategy) ### 3.1 请求头配置 - **User-Agent 轮换 (UA 轮换)**:维护 UA 池,每次请求随机切换 User-Agent。 - **Referer / Origin**:根据目标平台设置正确的 referer 和 origin。 - **Accept-Encoding**:支持 gzip 压缩传输。 ### 3.2 频率控制 - **请求间隔 (delay)**:单一平台请求间隔 >= 2秒,推荐使用 3-5秒 间隔。 - **Rate Limit**:每分钟请求不超过 20次,超出时主动等待或切换代理。 ### 3.3 robots.txt 与合规 - 采集前检查目标站点 `robots.txt` 规则。 - 不采集用户隐私数据(PII),如手机号、uid 等敏感信息。 - 数据保留期不超过 90天。 ## 4. Schema 标准化 ### 4.1 统一趋势数据结构 所有平台输出必须统一为 `schema` 标准化格式,字段使用 snake_case: ```json { "platform": "bilibili", "rank": 1, "topic": "", "hot_value": 0, "category": "", "trend_direction": "up|down|stable", "trend_change": "0", "source_url": "https://b23.tv/BVxxx", "timestamp": "2026-04-13T10:00:00Z", "crawl_time": "2026-04-13T10:00:00Z", "author": "", "likes": 0 } ``` ### 4.2 时间格式 - `timestamp` 和 `crawl_time` 统一使用 ISO 8601 格式(`YYYY-MM-DDTHH:mm:ssZ`)。 ### 4.3 趋势方向枚举 - `trend_direction` 只允许 `"up"`、`"down"`、`"stable"` 三个值。 - 当 `trend_change` 为异常值(如 `"N/A"`)时,异常值处理规则为将 `trend_direction` 强制回退为 `"stable"`。 ## 5. 平台覆盖与解析规则 ### 5.1 bilibili / B站 - 来源:`https://api.bilibili.com/x/web-interface/popular` - 关键字段:`bvid`、`title`、`owner.name`、`stat.view`、`stat.like`、`tnamev2` - 视频链接构造:`https://b23.tv/{bvid}` ### 5.2 baidu / 百度 - 来源:`https://top.baidu.com/board?tab=realtime` - HTML 解析 `