benchmark.md - data_analysis

1. 评分维度

1.1 评分体系

本技能 Benchmark 包含 4 个核心评分维度：

• 数据准确性 (30%): 查询结果的准确性和完整性
• 分析深度 (25%): 分析的广度和洞察深度
• 报告质量 (25%): 输出报告的结构和可读性
• 工具使用 (20%): 工具调用的正确性

1.2 评分等级

等级	分数范围	描述
A	90-100	优秀，可直接用于生产
B	80-89	良好，需要轻微调整
C	70-79	合格，需要较大调整
D	60-69	不合格，需要重新设计
F		严重缺陷，无法使用

---

2. 评分标准详解

2.1 数据准确性 (30%)

分数	描述
9-10	数据查询准确，结果完整无遗漏，数据来源清晰
7-8	数据基本准确，有轻微遗漏或口径不一致
5-6	数据有明显错误或遗漏超过 20%
3-4	数据错误严重，仅部分可用
1-2	数据完全错误，无法使用

评估要点:

• 查询条件是否正确
• 返回字段是否完整
• 数据口径是否一致
• 异常值是否处理

2.2 分析深度 (25%)

分数	描述
9-10	分析全面，包含多维度对比，洞察深刻且有数据支撑
7-8	分析较全面，有一定深度，包含多角度分析
5-6	分析停留在表面，仅有单一维度分析
3-4	缺乏有效分析，仅有数据罗列
1-2	无分析内容，仅有原始数据

评估要点:

• 是否进行多维度分析
• 是否有数据支撑的洞察
• 是否识别数据模式
• 是否提供可执行的建议

2.3 报告质量 (25%)

分数	描述
9-10	报告结构清晰，结论明确，建议可执行且量化
7-8	报告较清晰，有明确结论，建议基本可执行
5-6	报告质量一般，结论模糊，建议难以执行
3-4	报告混乱，结论不明确
1-2	报告无法理解，缺乏基本结构

评估要点:

• 报告结构是否清晰
• 结论是否明确
• 建议是否可量化执行
• 图表是否规范

2.4 工具使用 (20%)

分数	描述
9-10	工具使用熟练，参数正确，输出格式规范
7-8	工具使用正确，输出格式基本规范
5-6	工具使用有误，输出格式不规范
3-4	工具使用错误，输出格式混乱
1-2	完全不会使用工具

评估要点:

• 工具参数是否正确
• 调用顺序是否合理
• 输出格式是否符合规范
• 错误处理是否得当

---

3. 标注数据集

3.1 测试用例 (10 条)

ID	场景	输入	期望输出	评分要点
TC-001	数据查询	query: 昨日热门选题, metrics: view_count, retention_rate, engagement	选题ID、名称、各指标数值	数据准确性
TC-002	趋势分析	topic: 军事题材, period: 7d	趋势图数据点、增长率	分析深度
TC-003	A/B测试	experimentId: exp-001, variants: A,B	转化率、统计显著性	工具使用 + 分析深度
TC-004	用户反馈	source: in-app, sentiment: true	反馈数量、情感占比、关键词	分析深度
TC-005	报表导出	reportType: weekly, format: excel	Excel文件下载链接	工具使用
TC-006	异常检测	metric: daily_active_users, threshold: 0.15	异常时间点、幅度、原因	分析深度 + 报告质量
TC-007	竞品对比	competitors: app-a, app-b	对比表格、差距分析	分析深度 + 报告质量
TC-008	预测分析	topic: 娱乐八卦, model: linear_regression	预测值、置信区间	分析深度
TC-009	归因分析	conversion_event: subscription, channels: organic,paid,social	渠道贡献占比	分析深度
TC-010	留存分析	cohort_date: 2026-03-01, retention_days: 1,7,30	Cohort留存率表格	工具使用 + 报告质量

3.2 评分样例

样例 1: TC-001 数据查询

• 输入: {"query": "昨日热门选题", "metrics": ["view_count", "retention_rate", "engagement"]}
• 期望输出: json { "topics": [ {"id": "T001", "name": "霸总重生", "view_count": 150000, "retention_rate": 0.45, "engagement": 8.2}, {"id": "T002", "name": "甜宠校花", "view_count": 120000, "retention_rate": 0.52, "engagement": 7.8} ] }
• 评分:
  • 数据准确性: 10 (完全匹配)
  • 分析深度: 8 (有排序和筛选)
  • 报告质量: 9 (结构清晰)
  • 工具使用: 10 (参数正确)

样例 2: TC-003 A/B测试

• 输入: {"experimentId": "exp-001", "variants": ["A", "B"]}
• 期望输出: json { "variant_a": {"conversion_rate": 0.032, "sample_size": 5000}, "variant_b": {"conversion_rate": 0.041, "sample_size": 5000}, "statistical_significance": 0.023, "conclusion": "B变体显著优于A (p<0.05)" }
• 评分:
  • 数据准确性: 9 (数据正确)
  • 分析深度: 10 (包含统计显著性检验)
  • 报告质量: 8 (结论明确)
  • 工具使用: 9 (工具使用正确)

---

4. 行业基准

4.1 基准指标

基于 10 条测试用例，行业基准如下：

指标	数值
industry_avg_score	82
样本量	10
数据质量评分	85

4.2 合格线

• 最低合格分: 70 分
• 优秀线: 90 分

---

5. 测试执行

5.1 执行方式

• 手动测试: 基于 TC-001 至 TC-010 执行
• 自动测试: 可通过脚本批量执行 JSON 输入验证

5.2 通过标准

• 4 个维度平均分 ≥ 70 分
• 任何单一维度不低于 60 分

---

版本: 1.0.0 创建时间: 2026-03-27 创建者: Digester