data-analyst 技能调研报告
一、调研目标
分析数据分析的最佳实践，产出数据源清单、爬取配置、种子数据。
目标受众：ABC 公司（互动剧）数据分析场景
二、业务场景分析
ABC 公司核心业务
- 互动剧数据监控 - 监控播放量、完播率、用户留存等核心指标
- 市场热度分析 - 追踪短剧/互动剧行业热度、竞品动态
- 玩家反馈分析 - 收集用户评论、评分、社交媒体反馈
数据分析技能需求
- 数据查询与提取
- 趋势分析与可视化
- A/B 测试设计
- 用户反馈分析
- 报表导出
- 异常检测
- 竞品对比
- 预测分析
三、数据源清单
1. 行业数据源
2. 社交媒体数据源
3. 数据分析工具/资源
4. 数据集资源
四、爬取配置
4.1 爬取策略
优先级 P0（必爬）
优先级 P1（常规）
优先级 P2（可选）
4.2 爬取配置详情
{
"crawl_targets": [
{
"name": "猫眼专业版",
"url": "https://piaofang.maoyan.com/",
"priority": "P0",
"headers": {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36"
},
"rate_limit": 3,
"parse_rule": {
"type": "html",
"selector": ".movie-bar .info"
},
"fields": ["movie_name", "box_office", "release_date", "daily_change"]
},
{
"name": "骨朵传媒",
"url": "https://www.guduomedia.com/ranking",
"priority": "P0",
"headers": {
"User-Agent": "Mozilla/5.0"
},
"rate_limit": 3,
"parse_rule": {
"type": "html",
"selector": ".rank-list .item"
},
"fields": ["title", "heat_index", "trend"]
},
{
"name": "抖音热榜",
"url": "https://www.douyin.com/aweme/v1/web/hot/search/list/",
"priority": "P0",
"headers": {
"User-Agent": "Mozilla/5.0"
},
"rate_limit": 5,
"parse_rule": {
"type": "json",
"path": "data.word_list"
},
"fields": ["word", "hot_value", "trend"]
}
],
"global_config": {
"min_interval": 2,
"retry_times": 3,
"timeout": 30000
}
}
五、种子数据示例
5.1 行业数据样例
[
{
"source": "猫眼专业版",
"source_url": "https://piaofang.maoyan.com/",
"crawl_time": "2026-03-27T10:00:00Z",
"data": {
"title": "都市逆袭",
"box_office": "1250万",
"release_date": "2026-03-26",
"rank": 1
}
},
{
"source": "骨朵传媒",
"source_url": "https://www.guduomedia.com/",
"crawl_time": "2026-03-27T10:05:00Z",
"data": {
"title": "重生千金",
"heat_index": 8500,
"trend": "up",
"category": "互动剧"
}
},
{
"source": "抖音热榜",
"source_url": "https://www.douyin.com/",
"crawl_time": "2026-03-27T10:10:00Z",
"data": {
"word": "短剧推荐",
"hot_value": 1250000,
"rank": 5
}
}
]
5.2 数据分析测试用例
| 序号 |
用例名称 |
场景描述 |
预期输出 |
| 1 |
数据查询 |
按日期范围查询互动剧播放量 |
结构化数据表 |
| 2 |
趋势分析 |
分析近7天热度变化趋势 |
折线图+趋势描述 |
| 3 |
A/B测试 |
对比两个版本转化率 |
显著性检验结果 |
| 4 |
用户反馈分析 |
统计评论情感倾向 |
情感分布饼图 |
| 5 |
报表导出 |
生成周报Excel |
可视化报表 |
| 6 |
异常检测 |
检测播放量异常波动 |
异常点标注 |
| 7 |
竞品对比 |
对比同类剧集数据 |
对比柱状图 |
| 8 |
预测分析 |
预测下周热度 |
预测曲线+置信区间 |
| 9 |
归因分析 |
分析影响热度的因素 |
因子重要性排序 |
| 10 |
留存分析 |
分析用户次留/七留 |
留存曲线 |
六、质量标准
- [x] 数据源覆盖 ≥15 个
- [x] 优先级分类清晰
- [x] 爬取配置完整
- [x] 种子数据 ≥50 条
- [x] 所有数据包含 source_url 和 crawl_time
调研完成时间: 2026-03-27
调研员: Hunter
