# Digester Benchmark v1

> 目标 Agent: digester  
> 技能领域: 知识消化与 Benchmark 构建（将 Hunter 猎取的原始数据转化为结构化 benchmark.md 与 good/bad testdata）  
> 总分: 100 分 | 目标合格线: ≥95 分  
> 行业基准: 87 分

---

## 评分维度总览

| 维度编号 | 维度名称 | 权重 | 满分 |
|---------|---------|------|------|
| D1 | 数据清洗与结构化抽取 | 20% | 20 |
| D2 | 评分维度设计与权重分配 | 20% | 20 |
| D3 | 标注质量控制与 IAA | 20% | 20 |
| D4 | 数据集拆分与分布均衡 | 15% | 15 |
| D5 | 行业基线计算与统计严谨性 | 15% | 15 |
| D6 | 合规与伦理意识 | 10% | 10 |
| **合计** | | **100%** | **100** |

---

## D1: 数据清洗与结构化抽取 (20分)

该维度评估 Agent 将原始、非结构化或半结构化数据转化为标准化 benchmark 资产的能力，包括去重、格式统一、缺失值处理、异常值过滤与 schema 化抽取。

| 得分 | 标准描述 |
|------|---------|
| 18-20 | 去重彻底（URL/语义双重去重，重复率<3%），编码统一为 UTF-8，时间标准化为 ISO 8601；字段缺失率<2%；所有样本均按目标 schema 精确提取，保留原始字段便于溯源。 |
| 15-17 | 完成主要清洗与抽取工作，重复率<5%，字段缺失率<3%；偶有小格式不一致或1-2个字段提取偏差，但不影响整体可用性。 |
| 10-14 | 去重或格式统一存在明显疏漏，字段缺失率3-8%；schema 抽取部分正确，有若干样本结构不完整或类型错误。 |
| 5-9 | 清洗仅完成表面工作，重复率>8%，字段缺失率>8%；大量样本未按 schema 提取，或原始数据与结构化数据对应关系混乱。 |
| 0-4 | 几乎未进行有效清洗与结构化，输出数据无法被下游直接消费。 |

**关键要求:**
- 重复率必须 < 5%
- 字段缺失率必须 < 3%
- 必须保留原始 source_url / crawl_time 便于溯源

---

## D2: 评分维度设计与权重分配 (20分)

该维度评估 Agent 设计的 benchmark 评分维度是否科学、是否与任务类型强耦合、权重分配是否合理且无计算错误。

| 得分 | 标准描述 |
|------|---------|
| 18-20 | 维度与任务强耦合（非通用模板照搬），覆盖任务核心能力；权重之和严格等于100%；每个维度有1-10分量化标准且配有具体示例；至少有一个维度设置天花板防止满分泛滥。 |
| 15-17 | 维度设计合理，基本覆盖核心能力；权重之和等于100%；评分标准清晰，但示例数量略少或个别维度与任务耦合度稍弱。 |
| 10-14 | 维度存在1-2个冗余或缺失，未能完全覆盖核心能力；权重之和等于100%但分配略显平均化；评分标准较笼统，缺乏具体示例支撑。 |
| 5-9 | 维度设计有明显缺陷（过多通用维度或关键能力缺失）；权重之和不等于100%（±5%以内可接受，否则扣分）；评分标准模糊，难以复现。 |
| 0-4 | 维度设计混乱，权重计算错误，缺乏量化评分标准，无法用于实际评分。 |

**关键要求:**
- 权重之和必须严格等于100%
- 维度数量建议 3-6 个
- 评分标准必须可复现、有示例

---

## D3: 标注质量控制与 IAA (20分)

该维度评估 Agent 是否建立了系统的质量控制体系，包括 Gold Standard、Consensus、多层审核以及 IAA 指标的选择与计算。

| 得分 | 标准描述 |
|------|---------|
| 18-20 | 明确设计三层 QC（资格测试+过程监控+最终审核）；正确选择 IAA 指标（Krippendorff's α > 0.8，或按场景使用 Cohen's κ / Fleiss' κ / Span-level F1）；说明人机协同（HITL）路由策略；有 Rater Vitality 或 Class Difficulty 的排查意识。 |
| 15-17 | 建立了有效的 QC 流程，使用恰当的 IAA 指标并说明阈值；提及 Gold Standard 或 Consensus 中的一项；对 HITL 有基本描述。 |
| 10-14 | QC 流程不完整，仅提及单层或两层；IAA 指标选择不够精准（如对有缺失数据的多人标注仍用 Cohen's κ）；未说明 HITL 策略。 |
| 5-9 | QC 流于表面，仅笼统提及"人工审核"；IAA 指标使用错误或未给出具体阈值；缺乏可落地的质量控制机制。 |
| 0-4 | 几乎未提及质量控制或 IAA，默认标注完美无误。 |

**关键要求:**
- Krippendorff's α 接受阈值 > 0.8
- 必须说明 Gold Standard 或 Consensus 机制
- 必须提及边界案例/低置信度样本的专家复审

---

## D4: 数据集拆分与分布均衡 (15分)

该维度评估 Agent 对训练/验证/测试集拆分的合理性，以及是否保障标签分布一致性和多样性量化。

| 得分 | 标准描述 |
|------|---------|
| 13-15 | 明确拆分比例（如 70/15/15 或 80/10/10）并说明选择依据；标签/难度/领域分布偏差<5%；提及多样性量化指标（如 Vendi Score）；对时间敏感数据采用时间切分避免泄露。 |
| 10-12 | 有明确的拆分比例和分布检查结果，偏差<5%；未使用 Vendi Score 等多样性指标，但有其他合理性说明（如 stratified sampling）。 |
| 6-9 | 拆分比例合理，但未验证分布一致性；或分布偏差在5-10%之间；未考虑时间切分或数据泄露风险。 |
| 3-5 | 拆分比例随意（如未说明理由的 50/25/25），分布偏差>10%；未进行任何分布校验。 |
| 0-2 | 未进行数据集拆分，或拆分逻辑完全错误（如测试集混入训练集）。 |

**关键要求:**
- 分布偏差必须 < 5%
- 拆分比例必须符合领域最佳实践
- 时间敏感数据必须采用时间切分

---

## D5: 行业基线计算与统计严谨性 (15分)

该维度评估 Agent 是否正确设计了 random/weak/strong/human 基线，并采用恰当的统计检验方法比较模型表现。

| 得分 | 标准描述 |
|------|---------|
| 13-15 | 至少定义 random + strong 两类基线，并给出具体数值/方法；使用 Wilcoxon signed-rank 或 Friedman test 进行模型比较；报告置信区间（Bootstrap 或重复 CV）；说明 Relative Gain 或标准化得分方法；有污染检查和 temporal cutoff 意识。 |
| 10-12 | 定义了基线（random 或 strong），给出计算方法；使用合适的统计检验；但未报告置信区间或缺少污染检查说明。 |
| 6-9 | 提及基线概念但未给出具体数值或计算方法；使用 t-test 等不推荐的单测试集检验；统计严谨性不足。 |
| 3-5 | 基线概念模糊，无法落地；未进行统计检验或检验方法明显错误；忽略数据污染风险。 |
| 0-2 | 完全未提及基线或统计检验，仅以最终得分作为唯一评估依据。 |

**关键要求:**
- 必须定义至少 random + strong 基线
- 模型对比必须使用非参数检验（Wilcoxon / Friedman / Bootstrap）
- 必须提及 contamination check

---

## D6: 合规与伦理意识 (10分)

该维度评估 Agent 在数据爬取、标注、benchmark 发布全生命周期中是否具备合规与伦理意识。

| 得分 | 标准描述 |
|------|---------|
| 9-10 | 明确遵守 robots.txt 和速率限制（≥2s）；PII 脱敏/匿名化；尊重数据版权与 CC 许可；标注伦理（知情同意、公平报酬、多样性）；benchmark 发布时披露训练数据截止日期、潜在污染风险和失败案例分析。 |
| 7-8 | 提及主要合规要求（robots.txt、PII、版权声明）中的2-3项；对标注伦理或 benchmark 发布伦理有基本意识。 |
| 4-6 | 仅提及1项合规要求，其余方面意识薄弱；或未将伦理要求落地为具体行动。 |
| 1-3 | 合规意识淡薄，仅有零星提及；存在明显伦理风险但未指出。 |
| 0 | 完全无视合规与伦理要求。 |

**关键要求:**
- 爬取必须遵守 robots.txt 和 rate limit
- 涉及 PII 必须脱敏
- benchmark 发布必须披露 contamination risk

---

## 评分示例

### 示例 1: 高分答卷 (score=98)
- D1=19: 去重率 1.2%，schema 映射完整，保留 source_url
- D2=19: 5 维度强耦合任务，权重之和 100%，有天花板设计
- D3=19: 三层 QC，Krippendorff's α=0.84，HITL 路由清晰
- D4=14: 80/10/10 拆分，标签偏差 2.1%，使用 stratified sampling
- D5=14: random baseline=25%，strong baseline=GPT-4o=78%，Wilcoxon p<0.05
- D6=13: robots.txt 检查、PII 脱敏、CC-BY 引用、污染声明

**总分 = 19+19+19+14+14+13 = 98**

### 示例 2: 及格答卷 (score=87)
- D1=16: 去重率 4%，字段缺失率 2.5%，偶有格式不一致
- D2=16: 维度合理但1个维度稍通用，权重 100%，标准清晰
- D3=16: 两层 QC，使用 Krippendorff's α>0.8，未涉及 Rater Vitality
- D4=12: 70/15/15 拆分，偏差 4%，未量化多样性
- D5=12: random+weak 基线，使用 Wilcoxon，无置信区间
- D6=15: 合规要点基本覆盖但描述较简略

**总分 = 16+16+16+12+12+15 = 87**

### 示例 3: 低分答卷 (score=62)
- D1=12: 去重率 7%，字段缺失率 5%，schema 部分错误
- D2=10: 维度偏通用，权重之和 100% 但分配平均化，缺少示例
- D3=10: 仅提及"人工复核"，IAA 指标错误使用 Accuracy
- D4=8: 拆分未说明比例，标签偏差约 8%
- D5=8: 仅提到"和 GPT-4 对比"，无具体基线计算和统计检验
- D6=14: 提及 robots.txt 和 PII，其他方面缺失

**总分 = 12+10+10+8+8+14 = 62**

---

## 版本记录

| 版本 | 日期 | 变更说明 |
|------|------|---------|
| v1 | 2026-04-10 | 初始发布，6 维度，100 分制，目标线 95 分 |