knowhow_raw.md
1.95 KB
热点研究员 - 原始调研数据 (Hunt)
调研日期
2026-03-27
公司需求
ABC Inc. 是 AI 互动剧公司,需要:
- 热点抓取:每天从网上抓取军事、娱乐、体育等各类时事热点,构建约100个热点的选题库
- 深度研究:背景调查、人物形象塑造、生成台词和剧本
数据源调研
已验证可用的数据源
| 数据源 | 类型 | 状态 | 备注 |
|---|---|---|---|
| Hacker News (news.ycombinator.com) | 科技/综合 | ✅ 可用 | RSS/API |
| BBC News (feeds.bbci.co.uk) | 国际新闻 | ✅ 可用 | RSS |
| Reddit (r/all) | 综合社区 | ⚠️ 需认证 | 可能被限制 |
数据源验证记录
1. Hacker News
- URL: https://news.ycombinator.com/
- 方式: HTML 解析
- 样本标题:
- "Moving from GitHub to Codeberg, for lazy people"
- "European Parliament decided that Chat Control 1.0 must stop"
- "Landmark L.A. jury verdict finds Instagram, YouTube were designed to addict kids"
- "Swift 6.3"
2. BBC News
- URL: https://feeds.bbci.co.uk/news/rss.xml
- 方式: RSS 解析
- 样本标题:
- "UK forecast to see biggest hit to growth from Iran war out of major economies"
- "Olympic women's sport limited to biological females"
- "Israel says it has killed Iran's navy chief overseeing Strait of Hormuz blockade"
无法访问的数据源
| 数据源 | 原因 |
|---|---|
| 微博热搜 | Forbidden (403) |
| 知乎热榜 | 需要认证 |
| 百度风云榜 | 反爬限制 |
| 需要认证/User-Agent 检测 |
爬取策略建议
推荐方案
- Hacker News - 科技热点为主,更新频繁
- BBC News RSS - 国际新闻,覆盖广
- Google News RSS - 可尝试
- 新浪新闻 RSS - 中文新闻源
反爬应对
- 使用真实 User-Agent
- 添加请求间隔 (≥2秒)
- 备选多源数据源
后续步骤
- 扩展更多新闻源
- 验证中文数据源可行性
- 构建结构化数据 pipeline