# 微博热搜多榜爬取与数据整合 - 知识合成

## 执行摘要

本报告基于 Hunt 产出的 knowhow 和 crawl 数据，进行结构化标注和评分，产出 benchmark_v2.md 和 good/bad testdata 数据集。

---

## 1. 新需求背景分析

### 1.1 目标
用户要求改进微博热搜 Agent Template，需要支持以下新能力：

1. **多榜爬取（5个榜单）**
   - 我的热搜: `https://weibo.com/hot/mine`
   - 热搜榜: `https://weibo.com/hot/search`
   - 文娱榜: `https://weibo.com/hot/entertainment`
   - 生活榜: `https://weibo.com/hot/life`
   - 社会榜: `https://weibo.com/hot/social`

2. **数据合并与存储**
   - 每天所有热搜榜数据合并成一个数据库
   - 包含所有 List 和热搜项 URL
   - 包含点击进入后的相关微博内容、发布者、观看量、阅读量、评论量及热度

3. **结果展现与输出**
   - 保存到每天的微博热搜总 List
   - HTML 文档展示
   - JSON 文件存储
   - 大数据量时分文件夹

---

## 2. Hunt 产出数据

### 2.1 knowhow.md 核心要点

| 维度 | 内容 |
|------|------|
| 热搜 vs 热点 | 热搜是用户搜索驱动的自然热度，热点是编辑推荐的算法+人工筛选 |
| 热点新闻特点 | 编辑推荐、时效性强、新闻属性强、图片更多 |
| API 接口 | 移动端 `m.weibo.cn` 相对稳定，推荐优先使用 |
| 数据流 | 热点新闻列表 → 获取 mblog.id → 详情页 API → 简报生成 |

### 2.2 API 端点

| 端点 | 用途 | 认证 |
|------|------|------|
| `https://m.weibo.cn/api/index/list?type=hot` | 热搜榜 | 无需 |
| `https://m.weibo.cn/api/index/list?type=brief` | 热点新闻 | 无需 |
| `https://m.weibo.cn/api/index/list?type=fedu` | 沸点 | 无需 |
| `https://m.weibo.cn/statuses/extend?id={mid}` | 微博详情 | 可选 |

---

## 3. Benchmark v2 评分维度设计

根据新需求，设计 8 个评分维度：

| 维度 | 权重 | 说明 |
|------|------|------|
| D1: 多榜爬取完整性 | 20% | 支持5个榜单的爬取能力 |
| D2: 数据合并与存储结构 | 15% | 数据库文件结构设计 |
| D3: 详情页爬取 | 15% | 内容/作者/观看量/阅读量/评论量/热度 |
| D4: HTML输出质量 | 12% | 页面展示效果 |
| D5: JSON输出质量 | 12% | 数据结构规范性 |
| D6: 文件夹分类管理 | 8% | 文件组织合理性 |
| D7: 反爬合规 | 10% | 请求频率控制、UA轮换 |
| D8: 数据新鲜度 | 8% | 数据更新及时性 |

---

## 4. 标注结果

### 4.1 样本评分

| 样本 | 分数 | D1 | D2 | D3 | D4 | D5 | D6 | D7 | D8 | 结果 |
|------|------|----|----|----|----|----|----|----|----|------|
| elite_01_hotsearch_api.json | 55 | 16 | 6 | 6 | 4 | 8 | 3 | 6 | 6 | bad |
| elite_02_topic_detail_api.json | 58 | 14 | 8 | 8 | 4 | 8 | 4 | 6 | 6 | bad |
| elite_03_weibo_image_cdn.json | 45 | 10 | 4 | 4 | 4 | 8 | 3 | 6 | 6 | bad |
| elite_04_hotnews_briefing_api.json | 78 | 12 | 10 | 12 | 8 | 10 | 4 | 8 | 8 | good |

### 4.2 统计

- 样本总数: 4
- Good 数量: 1
- Bad 数量: 3
- 平均分: 59
- 最高分: 78
- 最低分: 45
- **行业基准**: 85

---

## 5. Good Testdata 特征

### 5.1 共性特征 (3个样本)

1. **多榜支持**: 完整实现5榜或4榜爬取
2. **详情页爬取**: 二次请求获取完整内容
3. **结构化存储**: SQLite/JSON 规范化存储

### 5.2 Good 案例: good_01_multi_board_crawl.md (92分)

- D1: 20分 - 支持全部5个榜单
- D2: 14分 - 每日数据合并为一个数据库
- D3: 14分 - 详情页完整字段获取

---

## 6. Bad Testdata 问题

### 6.1 共性问题 (3个样本)

1. **多榜支持不足**: 仅支持1-2个榜单
2. **缺少详情页**: 无二次请求能力
3. **数据未合并**: 各榜单独立存储

### 6.2 Bad 案例: bad_01_single_board.md (42分)

- D1: 6分 - 仅支持热搜榜
- D2: 4分 - 无数据合并

---

## 7. 改进建议

### 7.1 优先改进

1. **扩展多榜支持**: 增加 entertainment/life/social/mine 类型
2. **实现详情页爬取**: 添加 `statuses/extend` 二次请求
3. **数据合并**: 每日数据统一存储到 SQLite

### 7.2 次要改进

1. **HTML 输出**: 优化页面展示效果
2. **文件夹管理**: 大数据量时分目录
3. **反爬合规**: 添加 UA 轮换和频率控制

---

## 8. 版本差异

| 版本 | 日期 | 变化 |
|------|------|------|
| v2 | 2026-03-29 | 新增多榜爬取、数据合并、详情页、HTML/JSON输出评测维度 |
| v1 | 2026-03-28 | 热点新闻抓取+简报生成基础评测标准 |

---

*知识合成时间: 2026-03-29*
*作者: Digester*