调研知识 - researcher 深度研究技能

数据源清单

1. 百度百科

• 类型: 中文百科全书
• 数据覆盖: 人物、事件、组织、作品等
• 访问方式:
  • 网页爬取: https://baike.baidu.com/item/xxx
  • 移动端 API (非官方)
• robots.txt: 允许爬取，需遵守频率限制
• 更新频率: 持续更新
• 数据质量: 中等，需人工校验

2. 维基百科

• 类型: 多语言百科全书
• 数据覆盖: 全球人物、事件、历史、科学等
• 访问方式:
  • MediaWiki API: https://en.wikipedia.org/w/api.php
  • 简体中文: https://zh.wikipedia.org/w/api.php
• 特点: 开放 API，结构化数据，CC BY-SA 协议
• 更新频率: 实时更新
• 数据质量: 高，引用可靠

3. 新闻报道

• 来源:
  • 新浪新闻: https://news.sina.com.cn/
  • 腾讯新闻: https://news.qq.com/
  • 澎湃新闻: https://www.thepaper.cn/
• 覆盖: 时事、人物专访、事件报道
• 访问方式: 网页爬取
• robots.txt: 需遵守

4. 社交媒体讨论

• 来源:
  • 微博: https://weibo.com (热搜、超话)
  • 豆瓣: https://douban.com (小组、评分)
  • 知乎: https://www.zhihu.com (问答)
• 用途: 公众舆论、人物形象塑造参考
• 注意事项: 爬取受限，需模拟登录或 API

5. 专业数据库

• 豆瓣电影/图书: 结构化 API (非官方)
• 猫眼电影: 票房、评分数据
• IMDb: 影视人物数据 (英文)

---

调研目标分析

背景调查

• 人物生平、履历
• 事件时间线
• 组织/公司沿革
• 作品创作背景

人物形象塑造

• 公众形象 vs 真实面貌
• 性格特征、行为模式
• 语言风格、口头禅
• 社会关系网络

台词/剧本生成素材

• 时代背景氛围
• 场景细节描写
• 角色情绪状态
• 对话风格参考

---

数据采集策略

优先级排序

1. 维基百科 - 开放 API，质量高
2. 百度百科 - 中文主要来源
3. 新闻报道 - 补充背景
4. 社交媒体 - 舆情参考

采集频率

• 百科类: 3-5 秒间隔
• 新闻类: 5-10 秒间隔
• 社交媒体: 10+ 秒间隔

数据清洗

• 去重
• 去除 HTML 标签
• 提取结构化字段
• 标注可信度等级