微博热搜多榜爬取与数据整合 - Benchmark v2

评分维度（8维度）

维度	权重	说明
D1: 多榜爬取完整性	20%	支持5个榜单（我的热搜/热搜榜/文娱榜/生活榜/社会榜）
D2: 数据合并与存储结构	15%	数据库文件结构、每日数据合并
D3: 详情页爬取	15%	内容/作者/观看量/阅读量/评论量/热度
D4: HTML输出质量	12%	页面展示效果、结构清晰度
D5: JSON输出质量	12%	数据结构规范性、字段完整性
D6: 文件夹分类管理	8%	大数据量时的目录组织
D7: 反爬合规	10%	请求频率控制、UA轮换
D8: 数据新鲜度	8%	数据更新及时性

---

评分标准

D1: 多榜爬取完整性 (20分)

分数	标准
18-20	支持全部5个榜单（我的热搜/热搜榜/文娱榜/生活榜/社会榜）
10-17	支持3-4个榜单
0-9	仅支持1-2个榜单或不支持

D2: 数据合并与存储结构 (15分)

分数	标准
13-15	每日数据合并为一个数据库，包含所有List和热搜项URL
7-12	基本数据合并，结构基本完整
0-6	无数据合并或结构混乱

D3: 详情页爬取 (15分)

分数	标准
13-15	完整获取内容+作者+观看量+阅读量+评论数+热度
7-12	获取部分关键字段
0-6	缺少详情页爬取能力

D4: HTML输出质量 (12分)

分数	标准
10-12	HTML展示美观、结构清晰、交互良好
5-9	基本可用，格式规范
0-4	格式混乱，无法正常使用

D5: JSON输出质量 (12分)

分数	标准
10-12	JSON结构规范，字段完整，易于解析
5-9	基本可用
0-4	格式错误或字段缺失

D6: 文件夹分类管理 (8分)

分数	标准
7-8	数据量大时合理分目录，结构清晰
3-6	基本目录组织
0-2	无分类，文件混乱

D7: 反爬合规 (10分)

分数	标准
8-10	有请求频率控制、UA轮换、错误处理
4-7	有基本合规措施
0-3	无合规措施

D8: 数据新鲜度 (8分)

分数	标准
7-8	数据实时更新，能反映最新热搜
3-6	更新有一定延迟
0-2	数据过时

---

合格标准

• 总分 ≥ 70 进入 good_testdata
• 总分 进入 bad_testdata

---

行业基准 (Industry Baseline)

标注结果汇总

样本	分数	D1多榜完整性	D2数据合并	D3详情页爬取	D4 HTML输出	D5 JSON输出	D6文件夹管理	D7反爬合规	D8数据新鲜度	结果
elite_01_hotsearch_api.json	55	16	6	6	4	8	3	6	6	bad
elite_02_topic_detail_api.json	58	14	8	8	4	8	4	6	6	bad
elite_03_weibo_image_cdn.json	45	10	4	4	4	8	3	6	6	bad
elite_04_hotnews_briefing_api.json	78	12	10	12	8	10	4	8	8	good

统计

指标	值
样本总数	4
Good 数量	1
Bad 数量	3
平均分	59
最高分	78
最低分	45
行业基准	85

---

版本历史

版本	日期	说明
v2	2026-03-29	微博热搜多榜爬取评分标准
v1	2026-03-28	热点新闻抓取+简报生成评分标准

---

创建时间: 2026-03-29