# 微博热搜多榜爬取与数据整合 - Benchmark v2

## 评分维度（8维度）

| 维度 | 权重 | 说明 |
|------|------|------|
| D1: 多榜爬取完整性 | 20% | 支持5个榜单（我的热搜/热搜榜/文娱榜/生活榜/社会榜） |
| D2: 数据合并与存储结构 | 15% | 数据库文件结构、每日数据合并 |
| D3: 详情页爬取 | 15% | 内容/作者/观看量/阅读量/评论量/热度 |
| D4: HTML输出质量 | 12% | 页面展示效果、结构清晰度 |
| D5: JSON输出质量 | 12% | 数据结构规范性、字段完整性 |
| D6: 文件夹分类管理 | 8% | 大数据量时的目录组织 |
| D7: 反爬合规 | 10% | 请求频率控制、UA轮换 |
| D8: 数据新鲜度 | 8% | 数据更新及时性 |

---

## 评分标准

### D1: 多榜爬取完整性 (20分)

| 分数 | 标准 |
|------|------|
| 18-20 | 支持全部5个榜单（我的热搜/热搜榜/文娱榜/生活榜/社会榜） |
| 10-17 | 支持3-4个榜单 |
| 0-9 | 仅支持1-2个榜单或不支持 |

### D2: 数据合并与存储结构 (15分)

| 分数 | 标准 |
|------|------|
| 13-15 | 每日数据合并为一个数据库，包含所有List和热搜项URL |
| 7-12 | 基本数据合并，结构基本完整 |
| 0-6 | 无数据合并或结构混乱 |

### D3: 详情页爬取 (15分)

| 分数 | 标准 |
|------|------|
| 13-15 | 完整获取内容+作者+观看量+阅读量+评论数+热度 |
| 7-12 | 获取部分关键字段 |
| 0-6 | 缺少详情页爬取能力 |

### D4: HTML输出质量 (12分)

| 分数 | 标准 |
|------|------|
| 10-12 | HTML展示美观、结构清晰、交互良好 |
| 5-9 | 基本可用，格式规范 |
| 0-4 | 格式混乱，无法正常使用 |

### D5: JSON输出质量 (12分)

| 分数 | 标准 |
|------|------|
| 10-12 | JSON结构规范，字段完整，易于解析 |
| 5-9 | 基本可用 |
| 0-4 | 格式错误或字段缺失 |

### D6: 文件夹分类管理 (8分)

| 分数 | 标准 |
|------|------|
| 7-8 | 数据量大时合理分目录，结构清晰 |
| 3-6 | 基本目录组织 |
| 0-2 | 无分类，文件混乱 |

### D7: 反爬合规 (10分)

| 分数 | 标准 |
|------|------|
| 8-10 | 有请求频率控制、UA轮换、错误处理 |
| 4-7 | 有基本合规措施 |
| 0-3 | 无合规措施 |

### D8: 数据新鲜度 (8分)

| 分数 | 标准 |
|------|------|
| 7-8 | 数据实时更新，能反映最新热搜 |
| 3-6 | 更新有一定延迟 |
| 0-2 | 数据过时 |

---

## 合格标准

- **总分 ≥ 70** 进入 good_testdata
- **总分 < 70** 进入 bad_testdata

---

## 行业基准 (Industry Baseline)

### 标注结果汇总

| 样本 | 分数 | D1多榜完整性 | D2数据合并 | D3详情页爬取 | D4 HTML输出 | D5 JSON输出 | D6文件夹管理 | D7反爬合规 | D8数据新鲜度 | 结果 |
|------|------|--------------|------------|--------------|-------------|-------------|--------------|------------|--------------|------|
| elite_01_hotsearch_api.json | 55 | 16 | 6 | 6 | 4 | 8 | 3 | 6 | 6 | bad |
| elite_02_topic_detail_api.json | 58 | 14 | 8 | 8 | 4 | 8 | 4 | 6 | 6 | bad |
| elite_03_weibo_image_cdn.json | 45 | 10 | 4 | 4 | 4 | 8 | 3 | 6 | 6 | bad |
| elite_04_hotnews_briefing_api.json | 78 | 12 | 10 | 12 | 8 | 10 | 4 | 8 | 8 | good |

### 统计

| 指标 | 值 |
|------|-----|
| 样本总数 | 4 |
| Good 数量 | 1 |
| Bad 数量 | 3 |
| 平均分 | 59 |
| 最高分 | 78 |
| 最低分 | 45 |
| **行业基准** | **85** |

---

## 版本历史

| 版本 | 日期 | 说明 |
|------|------|------|
| v2 | 2026-03-29 | 微博热搜多榜爬取评分标准 |
| v1 | 2026-03-28 | 热点新闻抓取+简报生成评分标准 |

---

*创建时间: 2026-03-29*