# benchmark.md - data_analysis

## 1. 评分维度

### 1.1 评分体系
本技能 Benchmark 包含 4 个核心评分维度：
- **数据准确性** (30%): 查询结果的准确性和完整性
- **分析深度** (25%): 分析的广度和洞察深度
- **报告质量** (25%): 输出报告的结构和可读性
- **工具使用** (20%): 工具调用的正确性

### 1.2 评分等级
| 等级 | 分数范围 | 描述 |
|------|----------|------|
| A | 90-100 | 优秀，可直接用于生产 |
| B | 80-89 | 良好，需要轻微调整 |
| C | 70-79 | 合格，需要较大调整 |
| D | 60-69 | 不合格，需要重新设计 |
| F | <60 | 严重缺陷，无法使用 |

---

## 2. 评分标准详解

### 2.1 数据准确性 (30%)

| 分数 | 描述 |
|------|------|
| 9-10 | 数据查询准确，结果完整无遗漏，数据来源清晰 |
| 7-8 | 数据基本准确，有轻微遗漏或口径不一致 |
| 5-6 | 数据有明显错误或遗漏超过 20% |
| 3-4 | 数据错误严重，仅部分可用 |
| 1-2 | 数据完全错误，无法使用 |

**评估要点**:
- 查询条件是否正确
- 返回字段是否完整
- 数据口径是否一致
- 异常值是否处理

### 2.2 分析深度 (25%)

| 分数 | 描述 |
|------|------|
| 9-10 | 分析全面，包含多维度对比，洞察深刻且有数据支撑 |
| 7-8 | 分析较全面，有一定深度，包含多角度分析 |
| 5-6 | 分析停留在表面，仅有单一维度分析 |
| 3-4 | 缺乏有效分析，仅有数据罗列 |
| 1-2 | 无分析内容，仅有原始数据 |

**评估要点**:
- 是否进行多维度分析
- 是否有数据支撑的洞察
- 是否识别数据模式
- 是否提供可执行的建议

### 2.3 报告质量 (25%)

| 分数 | 描述 |
|------|------|
| 9-10 | 报告结构清晰，结论明确，建议可执行且量化 |
| 7-8 | 报告较清晰，有明确结论，建议基本可执行 |
| 5-6 | 报告质量一般，结论模糊，建议难以执行 |
| 3-4 | 报告混乱，结论不明确 |
| 1-2 | 报告无法理解，缺乏基本结构 |

**评估要点**:
- 报告结构是否清晰
- 结论是否明确
- 建议是否可量化执行
- 图表是否规范

### 2.4 工具使用 (20%)

| 分数 | 描述 |
|------|------|
| 9-10 | 工具使用熟练，参数正确，输出格式规范 |
| 7-8 | 工具使用正确，输出格式基本规范 |
| 5-6 | 工具使用有误，输出格式不规范 |
| 3-4 | 工具使用错误，输出格式混乱 |
| 1-2 | 完全不会使用工具 |

**评估要点**:
- 工具参数是否正确
- 调用顺序是否合理
- 输出格式是否符合规范
- 错误处理是否得当

---

## 3. 标注数据集

### 3.1 测试用例 (10 条)

| ID | 场景 | 输入 | 期望输出 | 评分要点 |
|----|------|------|----------|----------|
| TC-001 | 数据查询 | query: 昨日热门选题, metrics: view_count, retention_rate, engagement | 选题ID、名称、各指标数值 | 数据准确性 |
| TC-002 | 趋势分析 | topic: 军事题材, period: 7d | 趋势图数据点、增长率 | 分析深度 |
| TC-003 | A/B测试 | experimentId: exp-001, variants: A,B | 转化率、统计显著性 | 工具使用 + 分析深度 |
| TC-004 | 用户反馈 | source: in-app, sentiment: true | 反馈数量、情感占比、关键词 | 分析深度 |
| TC-005 | 报表导出 | reportType: weekly, format: excel | Excel文件下载链接 | 工具使用 |
| TC-006 | 异常检测 | metric: daily_active_users, threshold: 0.15 | 异常时间点、幅度、原因 | 分析深度 + 报告质量 |
| TC-007 | 竞品对比 | competitors: app-a, app-b | 对比表格、差距分析 | 分析深度 + 报告质量 |
| TC-008 | 预测分析 | topic: 娱乐八卦, model: linear_regression | 预测值、置信区间 | 分析深度 |
| TC-009 | 归因分析 | conversion_event: subscription, channels: organic,paid,social | 渠道贡献占比 | 分析深度 |
| TC-010 | 留存分析 | cohort_date: 2026-03-01, retention_days: 1,7,30 | Cohort留存率表格 | 工具使用 + 报告质量 |

### 3.2 评分样例

**样例 1: TC-001 数据查询**
- 输入: `{"query": "昨日热门选题", "metrics": ["view_count", "retention_rate", "engagement"]}`
- 期望输出:
  ```json
  {
    "topics": [
      {"id": "T001", "name": "霸总重生", "view_count": 150000, "retention_rate": 0.45, "engagement": 8.2},
      {"id": "T002", "name": "甜宠校花", "view_count": 120000, "retention_rate": 0.52, "engagement": 7.8}
    ]
  }
  ```
- 评分:
  - 数据准确性: 10 (完全匹配)
  - 分析深度: 8 (有排序和筛选)
  - 报告质量: 9 (结构清晰)
  - 工具使用: 10 (参数正确)

**样例 2: TC-003 A/B测试**
- 输入: `{"experimentId": "exp-001", "variants": ["A", "B"]}`
- 期望输出:
  ```json
  {
    "variant_a": {"conversion_rate": 0.032, "sample_size": 5000},
    "variant_b": {"conversion_rate": 0.041, "sample_size": 5000},
    "statistical_significance": 0.023,
    "conclusion": "B变体显著优于A (p<0.05)"
  }
  ```
- 评分:
  - 数据准确性: 9 (数据正确)
  - 分析深度: 10 (包含统计显著性检验)
  - 报告质量: 8 (结论明确)
  - 工具使用: 9 (工具使用正确)

---

## 4. 行业基准

### 4.1 基准指标
基于 10 条测试用例，行业基准如下：

| 指标 | 数值 |
|------|------|
| industry_avg_score | 82 |
| 样本量 | 10 |
| 数据质量评分 | 85 |

### 4.2 合格线
- **最低合格分**: 70 分
- **优秀线**: 90 分

---

## 5. 测试执行

### 5.1 执行方式
- 手动测试: 基于 TC-001 至 TC-010 执行
- 自动测试: 可通过脚本批量执行 JSON 输入验证

### 5.2 通过标准
- 4 个维度平均分 ≥ 70 分
- 任何单一维度不低于 60 分

---

*版本: 1.0.0*
*创建时间: 2026-03-27*
*创建者: Digester*