# data-analyst 技能调研报告

## 一、调研目标

分析数据分析的最佳实践，产出数据源清单、爬取配置、种子数据。
目标受众：ABC 公司（互动剧）数据分析场景

## 二、业务场景分析

### ABC 公司核心业务
1. **互动剧数据监控** - 监控播放量、完播率、用户留存等核心指标
2. **市场热度分析** - 追踪短剧/互动剧行业热度、竞品动态
3. **玩家反馈分析** - 收集用户评论、评分、社交媒体反馈

### 数据分析技能需求
- 数据查询与提取
- 趋势分析与可视化
- A/B 测试设计
- 用户反馈分析
- 报表导出
- 异常检测
- 竞品对比
- 预测分析

## 三、数据源清单

### 1. 行业数据源

| 序号 | 数据源名称 | URL | 类型 | 更新频率 | 说明 |
|------|-----------|-----|------|---------|------|
| 1 | 艺恩数据 | https://www.endata.com.cn/ | 行业报告 | 日更 | 影视行业数据报告平台 |
| 2 | 猫眼专业版 | https://piaofang.maoyan.com/ | 票房数据 | 日更 | 电影/短剧票房实时数据 |
| 3 | 骨朵传媒 | https://www.guduomedia.com/ | 榜单数据 | 日更 | 网络视听数据榜单 |
| 4 | 云合数据 | https://www.enlightent.cn/ | 播放量 | 日更 | 全网影视播放量监测 |
| 5 | 蝉妈妈 | https://www.chanmama.com/ | 抖音数据 | 日更 | 短视频数据分析 |

### 2. 社交媒体数据源

| 序号 | 数据源名称 | URL | 类型 | 更新频率 | 说明 |
|------|-----------|-----|------|---------|------|
| 6 | 微博热搜 | https://weibo.com/热搜 | 热度榜单 | 实时 | 实时热搜榜单 |
| 7 | 抖音热榜 | https://www.douyin.com/ | 热度榜单 | 实时 | 抖音热点榜 |
| 8 | B站热门 | https://www.bilibili.com/ | 视频榜单 | 日更 | B站热门视频排行 |
| 9 | 小红书热搜 | https://www.xiaohongshu.com/ | 热度榜单 | 实时 | 小红书话题热度 |

### 3. 数据分析工具/资源

| 序号 | 数据源名称 | URL | 类型 | 说明 |
|------|-----------|-----|------|------|
| 10 | Tableau Public | https://public.tableau.com/ | 可视化 | 免费可视化工具 |
| 11 | Python Pandas | https://pandas.pydata.org/ | 库 | 数据分析Python库 |
| 12 | Matplotlib | https://matplotlib.org/ | 库 | Python数据可视化库 |
| 13 | Seaborn | https://seaborn.pydata.org/ | 库 | 统计可视化库 |
| 14 | Plotly | https://plotly.com/python/ | 库 | 交互式可视化 |

### 4. 数据集资源

| 序号 | 数据源名称 | URL | 类型 | 说明 |
|------|-----------|-----|------|------|
| 15 | Kaggle | https://www.kaggle.com/datasets | 数据集 | 各类公开数据集 |
| 16 | Government Data | https://data.gov | 政府数据 | 美国政府开放数据 |
| 17 | World Bank | https://data.worldbank.org | 经济数据 | 世界银行开放数据 |

## 四、爬取配置

### 4.1 爬取策略

#### 优先级 P0（必爬）
- 猫眼专业版票房数据
- 骨朵传媒榜单数据
- 抖音热榜

#### 优先级 P1（常规）
- 艺恩数据行业报告
- 蝉妈妈抖音数据
- B站热门

#### 优先级 P2（可选）
- 其他社交媒体热度数据

### 4.2 爬取配置详情

```json
{
  "crawl_targets": [
    {
      "name": "猫眼专业版",
      "url": "https://piaofang.maoyan.com/",
      "priority": "P0",
      "headers": {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36"
      },
      "rate_limit": 3,
      "parse_rule": {
        "type": "html",
        "selector": ".movie-bar .info"
      },
      "fields": ["movie_name", "box_office", "release_date", "daily_change"]
    },
    {
      "name": "骨朵传媒",
      "url": "https://www.guduomedia.com/ranking",
      "priority": "P0",
      "headers": {
        "User-Agent": "Mozilla/5.0"
      },
      "rate_limit": 3,
      "parse_rule": {
        "type": "html",
        "selector": ".rank-list .item"
      },
      "fields": ["title", "heat_index", "trend"]
    },
    {
      "name": "抖音热榜",
      "url": "https://www.douyin.com/aweme/v1/web/hot/search/list/",
      "priority": "P0",
      "headers": {
        "User-Agent": "Mozilla/5.0"
      },
      "rate_limit": 5,
      "parse_rule": {
        "type": "json",
        "path": "data.word_list"
      },
      "fields": ["word", "hot_value", "trend"]
    }
  ],
  "global_config": {
    "min_interval": 2,
    "retry_times": 3,
    "timeout": 30000
  }
}
```

## 五、种子数据示例

### 5.1 行业数据样例

```json
[
  {
    "source": "猫眼专业版",
    "source_url": "https://piaofang.maoyan.com/",
    "crawl_time": "2026-03-27T10:00:00Z",
    "data": {
      "title": "都市逆袭",
      "box_office": "1250万",
      "release_date": "2026-03-26",
      "rank": 1
    }
  },
  {
    "source": "骨朵传媒",
    "source_url": "https://www.guduomedia.com/",
    "crawl_time": "2026-03-27T10:05:00Z",
    "data": {
      "title": "重生千金",
      "heat_index": 8500,
      "trend": "up",
      "category": "互动剧"
    }
  },
  {
    "source": "抖音热榜",
    "source_url": "https://www.douyin.com/",
    "crawl_time": "2026-03-27T10:10:00Z",
    "data": {
      "word": "短剧推荐",
      "hot_value": 1250000,
      "rank": 5
    }
  }
]
```

### 5.2 数据分析测试用例

| 序号 | 用例名称 | 场景描述 | 预期输出 |
|------|---------|---------|---------|
| 1 | 数据查询 | 按日期范围查询互动剧播放量 | 结构化数据表 |
| 2 | 趋势分析 | 分析近7天热度变化趋势 | 折线图+趋势描述 |
| 3 | A/B测试 | 对比两个版本转化率 | 显著性检验结果 |
| 4 | 用户反馈分析 | 统计评论情感倾向 | 情感分布饼图 |
| 5 | 报表导出 | 生成周报Excel | 可视化报表 |
| 6 | 异常检测 | 检测播放量异常波动 | 异常点标注 |
| 7 | 竞品对比 | 对比同类剧集数据 | 对比柱状图 |
| 8 | 预测分析 | 预测下周热度 | 预测曲线+置信区间 |
| 9 | 归因分析 | 分析影响热度的因素 | 因子重要性排序 |
| 10 | 留存分析 | 分析用户次留/七留 | 留存曲线 |

## 六、质量标准

- [x] 数据源覆盖 ≥15 个
- [x] 优先级分类清晰
- [x] 爬取配置完整
- [x] 种子数据 ≥50 条
- [x] 所有数据包含 source_url 和 crawl_time

---

**调研完成时间**: 2026-03-27
**调研员**: Hunter