研究员技能知识手册
本知识手册为 researcher 深度研究技能的核心知识体系，用于指导 AI Agent 执行人物、事件、组织等背景调研任务。
目录
- 研究方法论
- 数据源体系
- 数据采集规范
- 信息质量评估
- 输出格式标准
1. 研究方法论
1.1 调研目标分类
| 目标类型 |
说明 |
典型调研内容 |
| 背景调查 |
人物生平、事件、组织等基础信息 |
生平履历、时间线、组织沿革 |
| 人物形象塑造 |
公众形象、性格特征、语言风格 |
行为模式、口头禅、社会关系 |
| 素材收集 |
剧本/台词创作素材 |
时代背景、场景细节、情绪状态 |
1.2 调研流程
确定调研目标 → 制定调研计划 → 多源数据采集 → 数据清洗验证 → 结构化输出
- 确定调研目标: 明确调研目的（背景/人物/素材）
- 制定调研计划: 规划数据源优先级、采集顺序
- 多源数据采集: 按优先级依次采集各数据源
- 数据清洗验证: 去重、校验、标注可信度
- 结构化输出: 按标准格式输出调研结果
1.3 调研深度等级
| 等级 |
要求 |
数据源覆盖 |
| L1 基础 |
基本信息 |
百科类（1-2个） |
| L2 标准 |
完整信息 |
百科 + 新闻 |
| L3 深度 |
全面信息 |
百科 + 新闻 + 社交媒体 |
| L4 专家 |
权威信息 |
多源交叉验证 |
2. 数据源体系
2.1 核心数据源
2.1.1 维基百科 (Wikipedia)
- 类型: API 结构化数据
- 语言: 多语言（英文/简体中文）
- API 端点:
https://zh.wikipedia.org/w/api.php
- 优势: 开放 API、结构化数据、CC BY-SA 协议
- 数据质量: 高，引用可靠
- 适用场景: 人物生平、历史事件、组织沿革
2.1.2 百度百科
- 类型: 网页爬取
- API 端点:
https://baike.baidu.com/item/{query}
- 优势: 中文内容最全
- 数据质量: 中等，需人工校验
- 适用场景: 中文人物、事件、作品
2.1.3 新闻报道
- 来源: 新浪新闻、腾讯新闻、澎湃新闻
- 覆盖: 时事、人物专访、事件报道
- 适用场景: 最新动态、舆论趋势
2.1.4 社交媒体
- 来源: 微博（热搜）、豆瓣（小组/评分）、知乎（问答）
- 适用场景: 公众形象、舆论分析、人物评价
- 注意事项: 需模拟登录或 API
2.2 专业数据源
| 数据源 |
类型 |
适用场景 |
| 豆瓣电影/图书 |
API（非官方） |
影视、文学作品信息 |
| 猫眼电影 |
票房/评分 |
影视作品数据 |
| IMDb |
英文影视数据 |
国际影视人物 |
2.3 数据源优先级
优先级排序:
1. 维基百科 (API 优先，质量高)
2. 百度百科 (中文主要来源)
3. 新闻报道 (补充背景)
4. 社交媒体 (舆情参考)
3. 数据采集规范
3.1 采集频率
| 数据源类型 |
请求间隔 |
备注 |
| 百科类 |
3-5 秒 |
遵守 robots.txt |
| 新闻类 |
5-10 秒 |
防止封禁 |
| 社交媒体 |
10+ 秒 |
通常需登录 |
3.2 采集字段
| 字段 |
类型 |
说明 |
必填 |
| query |
string |
查询关键词 |
✓ |
| source_type |
string |
数据源类型 |
✓ |
| source_url |
string |
数据来源 URL |
✓ |
| crawl_time |
string |
采集时间 (ISO8601) |
✓ |
| title |
string |
内容标题 |
- |
| content |
string |
主体内容 |
- |
| summary |
string |
内容摘要 |
- |
| tags |
array |
标签 |
- |
| confidence |
float |
可信度 (0-1) |
- |
3.3 采集规则
{
"respect_robots_txt": true,
"max_depth": 3,
"retry_on_failure": 3,
"timeout_ms": 30000
}
- 遵守 robots.txt: 尊重数据源爬取协议
- 最大深度: 3 层（防止过度采集）
- 失败重试: 3 次
- 超时设置: 30 秒
4. 信息质量评估
4.1 可信度等级
| 等级 |
分值 |
说明 |
| A |
0.9-1.0 |
权威来源（百科、官方媒体） |
| B |
0.7-0.89 |
可靠来源（新闻、期刊） |
| C |
0.5-0.69 |
一般来源（社交媒体） |
| D |
| 待验证来源 |
4.2 信息交叉验证
- 高可信度: 3 个以上独立来源信息一致
- 中可信度: 2 个来源信息一致
- 低可信度: 仅单一来源
4.3 数据清洗
- 去重: 相同内容合并
- 去 HTML: 去除标签和格式代码
- 结构化: 提取关键字段
- 标注: 标注可信度等级
5. 输出格式标准
5.1 JSONL 输出格式
{
"query": "爱因斯坦",
"source_type": "baike",
"source_url": "https://baike.baidu.com/item/爱因斯坦",
"crawl_time": "2026-03-27T00:00:00Z",
"title": "阿尔伯特·爱因斯坦",
"content": "完整内容...",
"summary": "一句话摘要",
"tags": ["物理学家", "诺贝尔奖"],
"confidence": 0.95
}
5.2 输出要求
| 要求 |
说明 |
| 必填字段 |
query, source_url, crawl_time |
| 推荐字段 |
title, content, summary, confidence |
| 选填字段 |
tags |
附录：数据源清单
核心 API
新闻源
| 名称 |
搜索路径 |
备注 |
| 新浪新闻 |
/?q={query}&c=news |
通用 |
| 腾讯新闻 |
/cgi-bin/search?q={query} |
通用 |
| 澎湃新闻 |
/searchPageResult?keys={query} |
中文 |
社交媒体
| 名称 |
API/路径 |
备注 |
| 微博热搜 |
https://weibo.com/ajax/side/hotSearch |
需登录 |
| 知乎 |
/search?q={query}&type=content |
模拟浏览器 |
