# 研究员技能知识手册

> 本知识手册为 researcher 深度研究技能的核心知识体系，用于指导 AI Agent 执行人物、事件、组织等背景调研任务。

## 目录

1. [研究方法论](#研究方法论)
2. [数据源体系](#数据源体系)
3. [数据采集规范](#数据采集规范)
4. [信息质量评估](#信息质量评估)
5. [输出格式标准](#输出格式标准)

---

## 1. 研究方法论

### 1.1 调研目标分类

| 目标类型 | 说明 | 典型调研内容 |
|----------|------|--------------|
| **背景调查** | 人物生平、事件、组织等基础信息 | 生平履历、时间线、组织沿革 |
| **人物形象塑造** | 公众形象、性格特征、语言风格 | 行为模式、口头禅、社会关系 |
| **素材收集** | 剧本/台词创作素材 | 时代背景、场景细节、情绪状态 |

### 1.2 调研流程

```
确定调研目标 → 制定调研计划 → 多源数据采集 → 数据清洗验证 → 结构化输出
```

1. **确定调研目标**: 明确调研目的（背景/人物/素材）
2. **制定调研计划**: 规划数据源优先级、采集顺序
3. **多源数据采集**: 按优先级依次采集各数据源
4. **数据清洗验证**: 去重、校验、标注可信度
5. **结构化输出**: 按标准格式输出调研结果

### 1.3 调研深度等级

| 等级 | 要求 | 数据源覆盖 |
|------|------|------------|
| L1 基础 | 基本信息 | 百科类（1-2个） |
| L2 标准 | 完整信息 | 百科 + 新闻 |
| L3 深度 | 全面信息 | 百科 + 新闻 + 社交媒体 |
| L4 专家 | 权威信息 | 多源交叉验证 |

---

## 2. 数据源体系

### 2.1 核心数据源

#### 2.1.1 维基百科 (Wikipedia)
- **类型**: API 结构化数据
- **语言**: 多语言（英文/简体中文）
- **API 端点**: `https://zh.wikipedia.org/w/api.php`
- **优势**: 开放 API、结构化数据、CC BY-SA 协议
- **数据质量**: 高，引用可靠
- **适用场景**: 人物生平、历史事件、组织沿革

#### 2.1.2 百度百科
- **类型**: 网页爬取
- **API 端点**: `https://baike.baidu.com/item/{query}`
- **优势**: 中文内容最全
- **数据质量**: 中等，需人工校验
- **适用场景**: 中文人物、事件、作品

#### 2.1.3 新闻报道
- **来源**: 新浪新闻、腾讯新闻、澎湃新闻
- **覆盖**: 时事、人物专访、事件报道
- **适用场景**: 最新动态、舆论趋势

#### 2.1.4 社交媒体
- **来源**: 微博（热搜）、豆瓣（小组/评分）、知乎（问答）
- **适用场景**: 公众形象、舆论分析、人物评价
- **注意事项**: 需模拟登录或 API

### 2.2 专业数据源

| 数据源 | 类型 | 适用场景 |
|--------|------|----------|
| 豆瓣电影/图书 | API（非官方） | 影视、文学作品信息 |
| 猫眼电影 | 票房/评分 | 影视作品数据 |
| IMDb | 英文影视数据 | 国际影视人物 |

### 2.3 数据源优先级

```
优先级排序:
1. 维基百科 (API 优先，质量高)
2. 百度百科 (中文主要来源)
3. 新闻报道 (补充背景)
4. 社交媒体 (舆情参考)
```

---

## 3. 数据采集规范

### 3.1 采集频率

| 数据源类型 | 请求间隔 | 备注 |
|------------|----------|------|
| 百科类 | 3-5 秒 | 遵守 robots.txt |
| 新闻类 | 5-10 秒 | 防止封禁 |
| 社交媒体 | 10+ 秒 | 通常需登录 |

### 3.2 采集字段

| 字段 | 类型 | 说明 | 必填 |
|------|------|------|------|
| query | string | 查询关键词 | ✓ |
| source_type | string | 数据源类型 | ✓ |
| source_url | string | 数据来源 URL | ✓ |
| crawl_time | string | 采集时间 (ISO8601) | ✓ |
| title | string | 内容标题 | - |
| content | string | 主体内容 | - |
| summary | string | 内容摘要 | - |
| tags | array | 标签 | - |
| confidence | float | 可信度 (0-1) | - |

### 3.3 采集规则

```json
{
  "respect_robots_txt": true,
  "max_depth": 3,
  "retry_on_failure": 3,
  "timeout_ms": 30000
}
```

- **遵守 robots.txt**: 尊重数据源爬取协议
- **最大深度**: 3 层（防止过度采集）
- **失败重试**: 3 次
- **超时设置**: 30 秒

---

## 4. 信息质量评估

### 4.1 可信度等级

| 等级 | 分值 | 说明 |
|------|------|------|
| A | 0.9-1.0 | 权威来源（百科、官方媒体） |
| B | 0.7-0.89 | 可靠来源（新闻、期刊） |
| C | 0.5-0.69 | 一般来源（社交媒体） |
| D | <0.5 | 待验证来源 |

### 4.2 信息交叉验证

- **高可信度**: 3 个以上独立来源信息一致
- **中可信度**: 2 个来源信息一致
- **低可信度**: 仅单一来源

### 4.3 数据清洗

1. **去重**: 相同内容合并
2. **去 HTML**: 去除标签和格式代码
3. **结构化**: 提取关键字段
4. **标注**: 标注可信度等级

---

## 5. 输出格式标准

### 5.1 JSONL 输出格式

```json
{
  "query": "爱因斯坦",
  "source_type": "baike",
  "source_url": "https://baike.baidu.com/item/爱因斯坦",
  "crawl_time": "2026-03-27T00:00:00Z",
  "title": "阿尔伯特·爱因斯坦",
  "content": "完整内容...",
  "summary": "一句话摘要",
  "tags": ["物理学家", "诺贝尔奖"],
  "confidence": 0.95
}
```

### 5.2 输出要求

| 要求 | 说明 |
|------|------|
| 必填字段 | query, source_url, crawl_time |
| 推荐字段 | title, content, summary, confidence |
| 选填字段 | tags |

---

## 附录：数据源清单

### 核心 API

| 名称 | URL | 类型 |
|------|-----|------|
| 维基百科 API | https://zh.wikipedia.org/w/api.php | GET |
| 百度百科 | https://baike.baidu.com/item/{query} | GET |

### 新闻源

| 名称 | 搜索路径 | 备注 |
|------|----------|------|
| 新浪新闻 | `/?q={query}&c=news` | 通用 |
| 腾讯新闻 | `/cgi-bin/search?q={query}` | 通用 |
| 澎湃新闻 | `/searchPageResult?keys={query}` | 中文 |

### 社交媒体

| 名称 | API/路径 | 备注 |
|------|----------|------|
| 微博热搜 | `https://weibo.com/ajax/side/hotSearch` | 需登录 |
| 知乎 | `/search?q={query}&type=content` | 模拟浏览器 |