# Trend-Hunter 调研资料

## 调研目标
构建热点抓取技能，覆盖军事、娱乐、体育、科技、财经等多个领域，产出约100个热点的选题库。

## 数据源清单

### 1. 综合热搜类

| 数据源 | 类型 | URL | 状态 | 说明 |
|--------|------|-----|------|------|
| 百度热搜 | 综合 | https://top.baidu.com/board?tab=realtime | 需反爬 | 实时热搜榜 |
| 微博热搜 | 综合 | https://weibo.com/ajax/side/hotSearch | 需Auth | 实时热搜，需登录 |
| 今日头条 | 综合 | https://www.toutiao.com/hot_news/ | 需反爬 | 热榜数据 |
| 抖音热榜 | 综合 | https://www.douyin.com/ | 需反爬 | 热门视频 |

### 2. 科技/开源类

| 数据源 | 类型 | URL | 状态 | 说明 |
|--------|------|-----|------|------|
| GitHub Trending | API | https://api.github.com/search/repositories | ✅ 可用 | 热门开源项目 |
| Hacker News | API | https://hacker-news.firebaseio.com/v0/topstories.json | ✅ 可用 | 技术热门话题 |
| Product Hunt | Web | https://www.producthunt.com/ | 需反爬 | 产品热门榜单 |
| Reddit | Web | https://www.reddit.com/r/popular/ | 需反爬 | 热门帖子 |

### 3. 国际热点

| 数据源 | 类型 | URL | 状态 | 说明 |
|--------|------|-----|------|------|
| Google Trends | Web | https://trends.google.com/trending?hl=zh-CN | ✅ 可用 | 全球搜索趋势 |
| Twitter Trending | API | https://api.twitter.com/2/tweets/search/recent | 需API | 需Twitter API |

### 4. 行业垂直

| 数据源 | 类型 | 领域 | 说明 |
|--------|------|------|------|
| 36Kr | Web | 科技/创业 | 科技热点 |
| 虎嗅 | Web | 商业/科技 | 商业热点 |
| 知乎热榜 | API | 综合 | 需登录 |
| 虎扑体育 | Web | 体育 | 体育热点 |
| 懂球帝 | Web | 足球 | 足球热点 |

### 5. 财经类

| 数据源 | 说明 |
|--------|------|
| 同花顺 | 财经热点 |
| 东方财富 | 股市热点 |
| 新浪财经 | 财经新闻 |

---

## 热点分类体系

### 一级分类（5类）
1. **军事** - 国防、军备、国际冲突
2. **娱乐** - 明星、影视、音乐、综艺
3. **体育** - 足球、篮球、电竞、奥运
4. **科技** - AI、数码、互联网、开源
5. **财经** - 股市、基金、宏观经济

### 二级分类示例
- 军事: 国际局势、武器装备、军事演习
- 娱乐: 明星八卦、电影票房、综艺热点
- 体育: NBA、CBA、五大联赛、电竞
- 科技: AI突破、新品发布、开源项目
- 财经: A股、美股、基金、加密货币

---

## 抓取方法论

### 方法1: API抓取（优先）
- GitHub Trending API - 直接返回JSON
- Hacker News API - 需二次请求获取详情

### 方法2: 静态页面解析
- 百度热搜、B站热门 - 需解析HTML
- 使用Python + requests + BeautifulSoup

### 方法3: 无头浏览器
- 抖音、今日头条 - 需Selenium/Playwright
- 成本较高，用于备用

### 方法4: 付费数据源
- 新榜、易观千帆 - 付费API
- 微博数据开放平台

---

## 频率与合规

| 站点 | 建议频率 | 备注 |
|------|----------|------|
| GitHub API | 1次/小时 | 限速60次/小时 |
| Hacker News | 1次/小时 | 友好 |
| Google Trends | 2次/小时 | 需控制 |
| 百度热搜 | 1次/30分钟 | 需更换UA |

---

## 调研结论

1. **最可靠数据源**: GitHub Trending + Hacker News (免费可爬)
2. **主力数据源**: 百度热搜 + B站热门 (需反爬策略)
3. **备选数据源**: 36Kr + 虎嗅 (行业垂直)
4. **难点**: 微博、抖音需登录或复杂反爬

建议采用「API优先 + 静态解析为辅」的策略。