knowhow_raw.md 1.95 KB

热点研究员 - 原始调研数据 (Hunt)

调研日期

2026-03-27

公司需求

ABC Inc. 是 AI 互动剧公司,需要:

  1. 热点抓取:每天从网上抓取军事、娱乐、体育等各类时事热点,构建约100个热点的选题库
  2. 深度研究:背景调查、人物形象塑造、生成台词和剧本

数据源调研

已验证可用的数据源

数据源 类型 状态 备注
Hacker News (news.ycombinator.com) 科技/综合 ✅ 可用 RSS/API
BBC News (feeds.bbci.co.uk) 国际新闻 ✅ 可用 RSS
Reddit (r/all) 综合社区 ⚠️ 需认证 可能被限制

数据源验证记录

1. Hacker News

  • URL: https://news.ycombinator.com/
  • 方式: HTML 解析
  • 样本标题:
    • "Moving from GitHub to Codeberg, for lazy people"
    • "European Parliament decided that Chat Control 1.0 must stop"
    • "Landmark L.A. jury verdict finds Instagram, YouTube were designed to addict kids"
    • "Swift 6.3"

2. BBC News

  • URL: https://feeds.bbci.co.uk/news/rss.xml
  • 方式: RSS 解析
  • 样本标题:
    • "UK forecast to see biggest hit to growth from Iran war out of major economies"
    • "Olympic women's sport limited to biological females"
    • "Israel says it has killed Iran's navy chief overseeing Strait of Hormuz blockade"

无法访问的数据源

数据源 原因
微博热搜 Forbidden (403)
知乎热榜 需要认证
百度风云榜 反爬限制
Reddit 需要认证/User-Agent 检测

爬取策略建议

推荐方案

  1. Hacker News - 科技热点为主,更新频繁
  2. BBC News RSS - 国际新闻,覆盖广
  3. Google News RSS - 可尝试
  4. 新浪新闻 RSS - 中文新闻源

反爬应对

  • 使用真实 User-Agent
  • 添加请求间隔 (≥2秒)
  • 备选多源数据源

后续步骤

  • 扩展更多新闻源
  • 验证中文数据源可行性
  • 构建结构化数据 pipeline