# 热点研究员 - 原始调研数据 (Hunt) ## 调研日期 2026-03-27 ## 公司需求 ABC Inc. 是 AI 互动剧公司,需要: 1. 热点抓取:每天从网上抓取军事、娱乐、体育等各类时事热点,构建约100个热点的选题库 2. 深度研究:背景调查、人物形象塑造、生成台词和剧本 ## 数据源调研 ### 已验证可用的数据源 | 数据源 | 类型 | 状态 | 备注 | |--------|------|------|------| | Hacker News (news.ycombinator.com) | 科技/综合 | ✅ 可用 | RSS/API | | BBC News (feeds.bbci.co.uk) | 国际新闻 | ✅ 可用 | RSS | | Reddit (r/all) | 综合社区 | ⚠️ 需认证 | 可能被限制 | ### 数据源验证记录 #### 1. Hacker News - URL: https://news.ycombinator.com/ - 方式: HTML 解析 - 样本标题: - "Moving from GitHub to Codeberg, for lazy people" - "European Parliament decided that Chat Control 1.0 must stop" - "Landmark L.A. jury verdict finds Instagram, YouTube were designed to addict kids" - "Swift 6.3" #### 2. BBC News - URL: https://feeds.bbci.co.uk/news/rss.xml - 方式: RSS 解析 - 样本标题: - "UK forecast to see biggest hit to growth from Iran war out of major economies" - "Olympic women's sport limited to biological females" - "Israel says it has killed Iran's navy chief overseeing Strait of Hormuz blockade" ### 无法访问的数据源 | 数据源 | 原因 | |--------|------| | 微博热搜 | Forbidden (403) | | 知乎热榜 | 需要认证 | | 百度风云榜 | 反爬限制 | | Reddit | 需要认证/User-Agent 检测 | ## 爬取策略建议 ### 推荐方案 1. **Hacker News** - 科技热点为主,更新频繁 2. **BBC News RSS** - 国际新闻,覆盖广 3. **Google News RSS** - 可尝试 4. **新浪新闻 RSS** - 中文新闻源 ### 反爬应对 - 使用真实 User-Agent - 添加请求间隔 (≥2秒) - 备选多源数据源 ## 后续步骤 - 扩展更多新闻源 - 验证中文数据源可行性 - 构建结构化数据 pipeline