knowhow_v2.md
3 KB
微博爬取知识合成 (Knowhow v2)
执行摘要
基于 Hunt 产出的 6 个 crawl 数据项进行全量标注，本报告将微博爬取领域的知识进行结构化整合，形成可直接用于训练和复用的知识体系。
核心知识体系
1. API 接口知识
| 接口类型 | 端点 | 稳定性 | 难度 |
|---|---|---|---|
| 移动端热搜 | https://m.weibo.cn/api/index/list?type=hot |
★★★★★ | 低 |
| PC端热搜 | https://weibo.com/ajax/side/hotSearch |
★★★★☆ | 中 |
| 用户微博 | https://weibo.com/ajax/statuses/mymblog?uid={uid} |
★★★☆☆ | 高 |
2. 反爬应对知识
| 机制 | 特征 | 解决方案 |
|---|---|---|
| UA检测 | 请求头检查 | 轮换User-Agent |
| IP限流 | QPS限制 | 代理池 |
| Cookie验证 | 登录态校验 | Cookie池维护 |
| 频率限制 | 单IP限制 | 限速+随机延迟 |
3. 数据清洗知识
- 文本清洗：去除零宽字符、统一编码
- 时间解析：时间戳标准化
- 数字标准化："1.2万"→12000
- 去重：基于内容Hash
标注数据统计
标注结果
- 样本数: 11 条 (6 good + 5 bad)
- Good 数据: 6 条 (score ≥ 70)
- Bad 数据: 5 条 (score
- 平均分: 74.32
- 最高分: 88.0 (good_06_api_reference.md)
- 最低分: 48.0 (bad_04_stale_data.json)
Good 数据共性特征
- 字段结构完整 - 6 个主要字段全覆盖
- 代码示例可用 - 提供可直接使用的代码
- 时间戳新鲜 - 数据时间
Bad 数据共性问题
- engagement 字段缺失 - comments/shares/read_count 为 0 或空
- author 信息缺失 - username/followers/verified 为空
- 字段严重缺失 - 缺 3+ 关键字段
- 数据过期 - 时间戳 > 24h
- 数据无效 - 负数、空字符串等
改进建议
- 数据增强：补充缺失的 engagement 字段 (comments/shares/read_count)
- 作者信息：获取完整的 author 信息 (username/followers/verified)
- 数据验证：增加数值合理性检查（负数检测、空值检测）
- 新鲜度保障：确保数据时间戳
- 多源验证：对比多个数据源确保准确性
输出文件清单
digest/
├── benchmark_v3.md ← 最终版评分标准 (v3)
├── diff_report_v2_v3.md ← 版本差异报告
├── knowhow.md ← 知识合成 (本文件)
├── good_testdata/
│ ├── good_01_hotsearch.json
│ ├── good_02_mobile_api.json
│ ├── good_03_github_projects.md
│ ├── good_04_anticrawling.md
│ ├── good_05_dataclean.md
│ └── good_06_api_reference.md
└── bad_testdata/
├── bad_01_engagement_missing.json
├── bad_02_author_empty.json
├── bad_03_incomplete_fields.json
├── bad_04_stale_data.json
└── bad_05_invalid_data.json
合成时间: 2026-03-28 Digester