Trend-Hunter 调研资料

调研目标

构建热点抓取技能，覆盖军事、娱乐、体育、科技、财经等多个领域，产出约100个热点的选题库。

数据源清单

1. 综合热搜类

数据源	类型	URL	状态	说明
百度热搜	综合	https://top.baidu.com/board?tab=realtime	需反爬	实时热搜榜
微博热搜	综合	https://weibo.com/ajax/side/hotSearch	需Auth	实时热搜，需登录
今日头条	综合	https://www.toutiao.com/hot_news/	需反爬	热榜数据
抖音热榜	综合	https://www.douyin.com/	需反爬	热门视频

2. 科技/开源类

数据源	类型	URL	状态	说明
GitHub Trending	API	https://api.github.com/search/repositories	✅ 可用	热门开源项目
Hacker News	API	https://hacker-news.firebaseio.com/v0/topstories.json	✅ 可用	技术热门话题
Product Hunt	Web	https://www.producthunt.com/	需反爬	产品热门榜单
Reddit	Web	https://www.reddit.com/r/popular/	需反爬	热门帖子

3. 国际热点

数据源	类型	URL	状态	说明
Google Trends	Web	https://trends.google.com/trending?hl=zh-CN	✅ 可用	全球搜索趋势
Twitter Trending	API	https://api.twitter.com/2/tweets/search/recent	需API	需Twitter API

4. 行业垂直

数据源	类型	领域	说明
36Kr	Web	科技/创业	科技热点
虎嗅	Web	商业/科技	商业热点
知乎热榜	API	综合	需登录
虎扑体育	Web	体育	体育热点
懂球帝	Web	足球	足球热点

5. 财经类

数据源	说明
同花顺	财经热点
东方财富	股市热点
新浪财经	财经新闻

---

热点分类体系

一级分类（5类）

1. 军事 - 国防、军备、国际冲突
2. 娱乐 - 明星、影视、音乐、综艺
3. 体育 - 足球、篮球、电竞、奥运
4. 科技 - AI、数码、互联网、开源
5. 财经 - 股市、基金、宏观经济

二级分类示例

• 军事: 国际局势、武器装备、军事演习
• 娱乐: 明星八卦、电影票房、综艺热点
• 体育: NBA、CBA、五大联赛、电竞
• 科技: AI突破、新品发布、开源项目
• 财经: A股、美股、基金、加密货币

---

抓取方法论

方法1: API抓取（优先）

• GitHub Trending API - 直接返回JSON
• Hacker News API - 需二次请求获取详情

方法2: 静态页面解析

• 百度热搜、B站热门 - 需解析HTML
• 使用Python + requests + BeautifulSoup

方法3: 无头浏览器

• 抖音、今日头条 - 需Selenium/Playwright
• 成本较高，用于备用

方法4: 付费数据源

• 新榜、易观千帆 - 付费API
• 微博数据开放平台

---

频率与合规

站点	建议频率	备注
GitHub API	1次/小时	限速60次/小时
Hacker News	1次/小时	友好
Google Trends	2次/小时	需控制
百度热搜	1次/30分钟	需更换UA

---

调研结论

1. 最可靠数据源: GitHub Trending + Hacker News (免费可爬)
2. 主力数据源: 百度热搜 + B站热门 (需反爬策略)
3. 备选数据源: 36Kr + 虎嗅 (行业垂直)
4. 难点: 微博、抖音需登录或复杂反爬

建议采用「API优先 + 静态解析为辅」的策略。