# 热点抓取数据源调研报告

## 调研概述
本报告调研用于抓取军事、娱乐、体育等各类时事热点的数据源。

## 数据源清单

### 1. 百度热搜 (top.baidu.com)
- **URL**: https://top.baidu.com/board?tab=realtime
- **类型**: 时事综合热搜
- **数据**: 实时热搜榜单，包含排名、标题、热度指数
- **反爬**: 中等，需伪装User-Agent
- **更新频率**: 实时
- **评分**: ⭐⭐⭐⭐⭐ (可抓取，数据丰富)

### 2. 微博热搜 (weibo.com)
- **URL**: https://weibo.com/hot/search
- **类型**: 娱乐/时事热搜
- **数据**: 热搜标题、排名、热度值
- **反爬**: 强，需登录态或代理
- **更新频率**: 实时
- **评分**: ⭐⭐⭐ (需登录，难度较高)

### 3. 知乎热榜 (zhihu.com)
- **URL**: https://www.zhihu.com/hot
- **类型**: 深度讨论热榜
- **数据**: 问题标题、热度、回答数
- **反爬**: 强，需登录
- **更新频率**: 实时
- **评分**: ⭐⭐⭐ (需登录)

### 4. 抖音热榜 (douyin.com)
- **URL**: https://www.douyin.com/aweme/v1/web/hot/search/list/
- **类型**: 短视频热搜
- **数据**: 话题名称、热度值
- **反爬**: 强，需Cookie
- **更新频率**: 实时
- **评分**: ⭐⭐⭐ (需认证)

### 5. 哔哩哔哩热门 (bilibili.com)
- **URL**: https://api.bilibili.com/x/web-interface/popular?ps=50&pn=1
- **类型**: 视频热门
- **数据**: 视频标题、播放量、描述
- **反爬**: 低，有公开API
- **更新频率**: 实时
- **评分**: ⭐⭐⭐⭐⭐ (可抓取，API友好)

### 6. Twitter/X Trending
- **URL**: https://twitter.com/i/api/2/trends.json
- **类型**: 国际热点
- **数据**: Trending话题
- **反爬**: 极强，需OAuth
- **更新频率**: 实时
- **评分**: ⭐ (需认证)

### 7. 今日头条 (toutiao.com)
- **URL**: https://www.toutiao.com/hot-event/hot-board/?origin=hotword&widen=1
- **类型**: 综合资讯热榜
- **数据**: 热词、热度
- **反爬**: 中等
- **更新频率**: 实时
- **评分**: ⭐⭐⭐⭐

### 8. 腾讯新闻 (qq.com)
- **URL**: https://r.inews.qq.com/gw/event/hot_ranking
- **类型**: 资讯热榜
- **数据**: 新闻标题、热度
- **反爬**: 低
- **更新频率**: 实时
- **评分**: ⭐⭐⭐⭐

## 推荐采集方案

### 核心数据源 (必采)
1. **百度热搜** - 综合时事热点，数据最全
2. **哔哩哔哩热门** - 年轻人内容趋势

### 备选数据源 (可选)
3. 今日头条热榜
4. 腾讯新闻热榜

### 难度较高的源 (需后续优化)
- 微博、知乎、抖音、Twitter (需要登录态或代理)

## 采集注意事项
- 单站点请求间隔 ≥ 2秒
- 使用随机User-Agent
- 遵守robots.txt规则
- 热点变化快，建议每15分钟采集一次