微博爬取知识合成 (Knowhow)

执行摘要

基于 Hunt 产出的调研数据，本报告将微博爬取领域的知识进行结构化整合，形成可直接用于训练和复用的知识体系。

---

核心知识体系

1. API 接口知识

接口类型	端点	稳定性	难度
移动端热搜	https://m.weibo.cn/api/index/list?type=hot	★★★★★	低
PC端热搜	https://weibo.com/ajax/side/hotSearch	★★★★☆	中
用户微博	https://weibo.com/ajax/statuses/mymblog?uid={uid}	★★★☆☆	高

2. 反爬应对知识

机制	特征	解决方案
UA检测	请求头检查	轮换User-Agent
IP限流	QPS限制	代理池
Cookie验证	登录态校验	Cookie池维护
频率限制	单IP限制	限速+随机延迟

3. 数据清洗知识

• 文本清洗：去除零宽字符、统一编码
• 时间解析：时间戳标准化
• 数字标准化："1.2万"→12000
• 去重：基于内容Hash

---

标注数据统计

标注结果

• 样本数: 1 条
• Good 数据: 1 条 (score ≥ 70)
• Bad 数据: 0 条 (score
• 平均分: 82.75

Good 数据共性特征

1. 字段结构完整 (D1: 95分)
2. 时间戳新鲜 (D5: 95分)
3. 数据可直接使用 (D3: 85分)

Bad 数据共性问题

1. engagement 字段不完整 (comments/shares/read_count 为 0)
2. author 信息缺失 (username/followers 为空)
3. 反爬合规性未知

---

改进建议

1. 数据增强：补充缺失的 engagement 字段
2. 作者信息：获取完整的 author 信息
3. 合规验证：确认请求头符合规范
4. 多源验证：对比多个数据源确保准确性

---

合成时间: 2026-03-28 Digester