# Satire News Scraper Benchmark 评估基准

> 版本: 1.0.0
> 适用: 讽刺新闻抓取与短剧素材提取技能评估

---

## 1. 评估维度概览

| 维度 | 权重 | 说明 |
|------|------|------|
| **抓取准确性** | 25% | 数据抓取的完整性和准确性 |
| **讽刺识别质量** | 30% | 荒诞内容识别的准确度 |
| **短剧适配评估** | 25% | 短剧改编潜力的判断准确性 |
| **输出格式规范性** | 20% | JSON输出符合规范程度 |

---

## 2. 评分标准 (0-100分制)

### 2.1 抓取准确性 (25分)

| 分值 | 标准 | 说明 |
|------|------|------|
| 23-25 | 优秀 | 8个网站全部正常抓取，RSS/网页模式切换正确，字段映射100%准确 |
| 18-22 | 良好 | 7个网站正常，1个有轻微问题，映射准确率>95% |
| 13-17 | 合格 | 6个网站正常，2个需优化，映射准确率>85% |
| 8-12 | 较差 | 5个以下正常，或关键字段缺失 |
| 0-7 | 不合格 | 大面积抓取失败 |

**关键检查点**
- The Onion 网页抓取必须成功（RSS不可用）
- 标题、正文、发布时间、来源4个字段必须完整
- 去重机制正常工作

### 2.2 讽刺识别质量 (30分)

| 分值 | 标准 | 说明 |
|------|------|------|
| 27-30 | 优秀 | absurdity_score 与人工评分一致率>85%，类型分类准确率>90% |
| 21-26 | 良好 | 一致率>75%，分类准确率>80%，少量误判 |
| 15-20 | 合格 | 一致率>65%，基本能区分讽刺/非讽刺 |
| 9-14 | 较差 | 误判较多，混淆讽刺与真新闻 |
| 0-8 | 不合格 | 识别逻辑混乱 |

**检查点**
- 正确识别7种讽刺类型
- absurdity_score 在合理区间 (0-10)
- 命中讽刺标记词提取准确

### 2.3 短剧适配评估 (25分)

| 分值 | 标准 | 说明 |
|------|------|------|
| 23-25 | 优秀 | 短剧适配评级与人工判断一致率>80%，改编建议实用 |
| 18-22 | 良好 | 一致率>70%，建议基本可用 |
| 13-17 | 合格 | 一致率>60%，能区分高/低适配度内容 |
| 8-12 | 较差 | 判断偏差大，经常推荐不适合的内容 |
| 0-7 | 不合格 | 无法正确评估改编潜力 |

**检查点**
- A级内容确实具有高改编价值
- D级内容确实不适合改编
- 场景/对话提取完整

### 2.4 输出格式规范性 (20分)

| 分值 | 标准 | 说明 |
|------|------|------|
| 18-20 | 优秀 | 完全符合schema，枚举值合规，无缺失字段 |
| 14-17 | 良好 | 基本符合，1-2个小问题 |
| 10-13 | 合格 | 主要结构正确，3-5个格式问题 |
| 6-9 | 较差 | 结构混乱，多个字段错误 |
| 0-5 | 不合格 | 无法通过JSON验证 |

---

## 3. 基准分数线

| 等级 | 分数 | 说明 |
|------|------|------|
| **Elite** | ≥90 | 顶尖水平，可直接用于生产 |
| **Industry Average** | 75 | 行业平均水平，需少量人工复核 |
| **Acceptable** | 60 | 最低可接受，需较多人工干预 |
| **Failed** | <60 | 不合格，无法使用 |

**推荐使用标准**
- 生产部署: ≥85分
- 测试通过: ≥75分
- 需要优化: 60-75分
- 重新开发: <60分

---

## 4. 测试用例

### 4.1 测试用例 #1 - The Onion (死板式新闻)

**输入**
```json
{
  "title": "Local Man Passionate Defender Of What He Imagines Constitution To Be",
  "content": "ARLINGTON, VA—Citing his strict interpretation of the document, local man Aaron White told reporters Monday that he is a passionate defender of what he imagines the Constitution to be.",
  "source": "the_onion",
  "category": "Politics"
}
```

**预期输出**
- absurdity_score: 7.5-8.5
- satire_type: "deadpan_news"
- markers: ["Local Man", "imagines"]
- drama_adaptability: "A"
- 理由: 标题即完整笑点，可直接改编为新闻播报讽刺

### 4.2 测试用例 #2 - ClickHole (病毒内容)

**输入**
```json
{
  "title": "I, Jeffrey Epstein, Am Not Only Alive, But Also A Supporter Of Women's Rights",
  "content": "As a wealthy financier who definitely did not kill himself, I have always been a champion of women's rights...",
  "source": "clickhole",
  "category": "Blog"
}
```

**预期输出**
- absurdity_score: 9.0+
- satire_type: "viral_content"
- markers: ["I, [Name]", "definitely"]
- drama_adaptability: "B"
- 理由: 第一人称荒诞独白，适合单人表演

### 4.3 测试用例 #3 - Babylon Bee (保守讽刺)

**输入**
```json
{
  "title": "Quadruple Amputee Cornhole Champion Accused Of Using Performance-Enhancing Prosthetics",
  "content": "LA PLATA, MD — The alleged perpetrator stands accused of using state-of-the-art prosthetic limbs to gain an unfair advantage...",
  "source": "babylon_bee",
  "category": "Sports"
}
```

**预期输出**
- absurdity_score: 7.0-8.0
- satire_type: "conservative_satire"
- markers: ["Accused Of", "unfair advantage"]
- drama_adaptability: "B"
- 理由: 体育新闻讽刺，有冲突可演绎

### 4.4 测试用例 #4 - 低荒诞度内容 (负样本)

**输入**
```json
{
  "title": "10 Tips For Better Sleep",
  "content": "Getting enough sleep is important for your health. Here are some tips...",
  "source": "clickhole",
  "category": "Lifestyle"
}
```

**预期输出**
- absurdity_score: <4.0
- satire_type: "none" 或 "low_satire"
- drama_adaptability: "D"
- 理由: 普通生活内容，无讽刺元素

### 4.5 测试用例 #5 - 需要本地化的敏感内容

**输入**
```json
{
  "title": "Trump Announces Plan To Build Second Wall Around First Wall",
  "content": "WASHINGTON—Saying the additional barrier would provide much-needed security...",
  "source": "the_onion",
  "category": "Politics"
}
```

**预期输出**
- absurdity_score: 7.0+
- satire_type: "political_satire"
- drama_adaptability: "C"
- localization_notes: "需将政治人物转换为本地等效场景"
- 理由: 政治讽刺需本地化才能使用

---

## 5. 数据集规格

### 5.1 训练集 (20条)

| 来源 | 数量 | 类型分布 |
|------|------|----------|
| The Onion | 5 | 死板式新闻 |
| ClickHole | 4 | 病毒内容 |
| Babylon Bee | 3 | 保守讽刺 |
| Reductress | 3 | 女性媒体讽刺 |
| The Hard Times | 3 | 朋克文化 |
| McSweeney's | 2 | 文学幽默 |

**荒诞度分布**
- 8-10分: 6条 (高适配)
- 6-7.9分: 8条 (中适配)
- 4-5.9分: 4条 (低适配)
- <4分: 2条 (负样本)

### 5.2 测试集 (20条)

**设计原则**
- 覆盖全部7种讽刺类型
- 包含边界案例（讽刺度中等）
- 包含易误判案例（接近真新闻的讽刺）
- 人工标注ground truth

**评估指标**
- absurdity_score MAE (平均绝对误差) < 1.5
- 类型分类准确率 > 75%
- 适配评级一致率 > 70%

---

## 6. 评估流程

### 6.1 自动化测试
```bash
npm run benchmark:satire-news

输出格式:
{
  "overall_score": 78,
  "dimensions": {
    "crawl_accuracy": 22,
    "satire_detection": 25,
    "drama_adaptation": 20,
    "output_format": 18
  },
  "test_cases": [
    { "id": 1, "score": 85, "passed": true },
    ...
  ]
}
```

### 6.2 人工验证
- 抽样10%进行人工复核
- 检查讽刺类型分类合理性
- 验证短剧改编建议可行性

---

## 7. 版本历史

| 版本 | 日期 | 变更 |
|------|------|------|
| 1.0.0 | 2026-03-25 | 初始版本，基于8个讽刺新闻源构建 |

---

*基准文档结束*