# Reddit 短剧内容抓取评估基准

> 技能名称: reddit-scraper-training
> 版本: v1.0.0
> 构建时间: 2026-03-25
> 构建Agent: Digester
> 任务编号: T-mn5xbrm3

---

## 一、评分体系概览

### 1.1 评估维度

| 维度 | 权重 | 分值范围 | 核心考察点 |
|------|------|---------|-----------|
| **数据抓取准确性** (Accuracy) | 25% | 0-25 | 帖子完整性、字段提取正确率、数据清洗质量 |
| **内容筛选质量** (Filtering) | 25% | 0-25 | 高冲突内容识别、低质量内容过滤、NSFW标记 |
| **特征提取完整性** (Extraction) | 25% | 0-25 | 冲突类型识别、人物关系提取、短剧标签生成 |
| **输出格式规范性** (Output) | 25% | 0-25 | JSON Schema合规、字段完整、数据类型正确 |
| **总分** | 100% | **0-100** | - |

### 1.2 行业基准线

```
行业平均分 (industry_avg_score): 72
精英平均分 (elite_avg_score): 88
```

---

## 二、维度评分标准

### 2.1 数据抓取准确性 - 25分

| 分数 | 等级 | 描述 |
|------|------|------|
| **5分** | 卓越 | 100%帖子完整抓取，所有字段准确，零数据丢失 |
| **4分** | 优秀 | >95%完整度，关键字段100%准确 |
| **3分** | 良好 | >90%完整度，关键字段>95%准确 |
| **2分** | 及格 | >80%完整度，关键字段>90%准确 |
| **1分** | 不足 | <80%完整度，或关键字段大量错误 |
| **0分** | 失败 | 完全无法抓取数据 |

**关键指标**
- 帖子完整性: title, content, score, comments
- 字段提取正确率: author, created_utc, permalink
- 数据清洗质量: 去除HTML标签、标准化格式

### 2.2 内容筛选质量 - 25分

| 分数 | 等级 | 描述 |
|------|------|------|
| **5分** | 卓越 | 精准识别高价值内容，零误判，NSFW100%标记 |
| **4分** | 优秀 | >90%高价值内容捕获，<5%误判率 |
| **3分** | 良好 | >80%高价值内容捕获，<10%误判率 |
| **2分** | 及格 | >70%高价值内容捕获，<20%误判率 |
| **1分** | 不足 | <70%高价值内容捕获，或高误判率 |
| **0分** | 失败 | 无法筛选，随机输出 |

**筛选标准**
- 高冲突内容识别: drama_score > 7.0
- 低质量内容过滤: 长度<100字、已删除内容
- NSFW标记: over_18字段检测

### 2.3 特征提取完整性 - 25分

| 分数 | 等级 | 描述 |
|------|------|------|
| **5分** | 卓越 | 所有特征100%提取，冲突分类精准，关系图完整 |
| **4分** | 优秀 | >90%特征提取准确率，冲突分类>85%准确 |
| **3分** | 良好 | >80%特征提取准确率，冲突分类>75%准确 |
| **2分** | 及格 | >70%特征提取准确率，冲突分类>60%准确 |
| **1分** | 不足 | <70%特征提取准确率，或分类混乱 |
| **0分** | 失败 | 无法提取任何特征 |

**提取内容**
- 冲突类型: 人际冲突/道德困境/意外事件
- 人物关系: 角色身份、关系类型
- 短剧标签: wedding_drama, family_conflict, betrayal等

### 2.4 输出格式规范性 - 25分

| 分数 | 等级 | 描述 |
|------|------|------|
| **5分** | 卓越 | 100%符合JSON Schema，所有字段类型正确，零验证错误 |
| **4分** | 优秀 | >98%合规，轻微格式问题不影响解析 |
| **3分** | 良好 | >95%合规，少量字段类型错误 |
| **2分** | 及格 | >90%合规，有结构性问题但可修复 |
| **1分** | 不足 | <90%合规，严重格式问题 |
| **0分** | 失败 | 完全不符合规范 |

**Schema要求**
- 必需字段: id, title, content, subreddit, drama_score
- 数据类型: score(integer), upvote_ratio(float), created_at(timestamp)
- 数组字段: character_relationships, short_drama_categories

---

## 三、综合评分计算方法

### 3.1 总分计算

```
总分 = 准确性×0.25 + 筛选质量×0.25 + 特征提取×0.25 + 格式规范×0.25
```

### 3.2 等级划分

| 总分区间 | 等级 | 描述 |
|---------|------|------|
| 95-100 | S+ | 卓越，可作为行业标准 |
| 90-94 | S | 精英水平 |
| 80-89 | A | 优秀水平 |
| 72-79 | B | 良好水平，符合行业标准 |
| 60-71 | C | 及格水平，需要改进 |
| 50-59 | D | 不足 |
| 0-49 | F | 失败 |

---

## 四、测试用例设计

### 4.1 测试覆盖矩阵

| 测试类型 | 数量 | 覆盖场景 |
|---------|------|---------|
| AITA道德冲突 | 15条 | NTA/YTA/ESH标签，家庭/职场冲突 |
| 关系建议 | 10条 | 信任危机、出轨、分手 |
| TIFU尴尬喜剧 | 10条 | 社交误会、意外事件 |
| funny幽默 | 5条 | 综合幽默内容 |
| 边界情况 | 5条 | 已删除、NSFW、超短内容 |
| **总计** | **45条** | - |

### 4.2 关键测试场景

**场景1: 高冲突AITA**
- 输入: YTA标签，家庭继承纠纷
- 预期: drama_score > 8.0, conflict_type=family_money

**场景2: 关系背叛**
- 输入: 发现伴侣出轨
- 预期: conflict_type=relationship_deception, adaptation_potential=high

**场景3: TIFU尴尬喜剧**
- 输入: 社交误会类TIFU
- 预期: drama_score > 8.5, short_drama_categories包含cringe_comedy

**场景4: 已删除内容**
- 输入: selftext包含"[removed]"
- 预期: 标记为excluded，不进入输出

**场景5: NSFW内容**
- 输入: over_18=true
- 预期: is_nsfw=true，需要审核标记

---

## 五、质量检验清单

### 5.1 评分前检验

- [ ] 理解四大评估维度的定义和边界
- [ ] 确认测试数据集覆盖所有板块
- [ ] 验证JSON Schema定义正确

### 5.2 评分中检验

- [ ] 各维度评分是否基于可观测的行为/输出
- [ ] 是否避免维度间的交叉影响
- [ ] 是否有明确的评分依据

### 5.3 评分后检验

- [ ] 总分是否在合理范围(0-100)
- [ ] 各维度分数是否独立变化
- [ ] 测试用例是否覆盖边界情况

---

*评估基准版本: v1.0.0*
*构建时间: 2026-03-25*