Satire News Scraper Benchmark 评估基准

版本: 1.0.0 适用: 讽刺新闻抓取与短剧素材提取技能评估

---

1. 评估维度概览

维度	权重	说明
抓取准确性	25%	数据抓取的完整性和准确性
讽刺识别质量	30%	荒诞内容识别的准确度
短剧适配评估	25%	短剧改编潜力的判断准确性
输出格式规范性	20%	JSON输出符合规范程度

---

2. 评分标准 (0-100分制)

2.1 抓取准确性 (25分)

分值	标准	说明
23-25	优秀	8个网站全部正常抓取，RSS/网页模式切换正确，字段映射100%准确
18-22	良好	7个网站正常，1个有轻微问题，映射准确率>95%
13-17	合格	6个网站正常，2个需优化，映射准确率>85%
8-12	较差	5个以下正常，或关键字段缺失
0-7	不合格	大面积抓取失败

关键检查点

• The Onion 网页抓取必须成功（RSS不可用）
• 标题、正文、发布时间、来源4个字段必须完整
• 去重机制正常工作

2.2 讽刺识别质量 (30分)

分值	标准	说明
27-30	优秀	absurdity_score 与人工评分一致率>85%，类型分类准确率>90%
21-26	良好	一致率>75%，分类准确率>80%，少量误判
15-20	合格	一致率>65%，基本能区分讽刺/非讽刺
9-14	较差	误判较多，混淆讽刺与真新闻
0-8	不合格	识别逻辑混乱

检查点

• 正确识别7种讽刺类型
• absurdity_score 在合理区间 (0-10)
• 命中讽刺标记词提取准确

2.3 短剧适配评估 (25分)

分值	标准	说明
23-25	优秀	短剧适配评级与人工判断一致率>80%，改编建议实用
18-22	良好	一致率>70%，建议基本可用
13-17	合格	一致率>60%，能区分高/低适配度内容
8-12	较差	判断偏差大，经常推荐不适合的内容
0-7	不合格	无法正确评估改编潜力

检查点

• A级内容确实具有高改编价值
• D级内容确实不适合改编
• 场景/对话提取完整

2.4 输出格式规范性 (20分)

分值	标准	说明
18-20	优秀	完全符合schema，枚举值合规，无缺失字段
14-17	良好	基本符合，1-2个小问题
10-13	合格	主要结构正确，3-5个格式问题
6-9	较差	结构混乱，多个字段错误
0-5	不合格	无法通过JSON验证

---

3. 基准分数线

等级	分数	说明
Elite	≥90	顶尖水平，可直接用于生产
Industry Average	75	行业平均水平，需少量人工复核
Acceptable	60	最低可接受，需较多人工干预
Failed		不合格，无法使用

推荐使用标准

• 生产部署: ≥85分
• 测试通过: ≥75分
• 需要优化: 60-75分
• 重新开发:

---

4. 测试用例

4.1 测试用例 #1 - The Onion (死板式新闻)

输入

{
  "title": "Local Man Passionate Defender Of What He Imagines Constitution To Be",
  "content": "ARLINGTON, VA—Citing his strict interpretation of the document, local man Aaron White told reporters Monday that he is a passionate defender of what he imagines the Constitution to be.",
  "source": "the_onion",
  "category": "Politics"
}

预期输出

• absurdity_score: 7.5-8.5
• satire_type: "deadpan_news"
• markers: ["Local Man", "imagines"]
• drama_adaptability: "A"
• 理由: 标题即完整笑点，可直接改编为新闻播报讽刺

4.2 测试用例 #2 - ClickHole (病毒内容)

输入

{
  "title": "I, Jeffrey Epstein, Am Not Only Alive, But Also A Supporter Of Women's Rights",
  "content": "As a wealthy financier who definitely did not kill himself, I have always been a champion of women's rights...",
  "source": "clickhole",
  "category": "Blog"
}

预期输出

• absurdity_score: 9.0+
• satire_type: "viral_content"
• markers: ["I, [Name]", "definitely"]
• drama_adaptability: "B"
• 理由: 第一人称荒诞独白，适合单人表演

4.3 测试用例 #3 - Babylon Bee (保守讽刺)

输入

{
  "title": "Quadruple Amputee Cornhole Champion Accused Of Using Performance-Enhancing Prosthetics",
  "content": "LA PLATA, MD — The alleged perpetrator stands accused of using state-of-the-art prosthetic limbs to gain an unfair advantage...",
  "source": "babylon_bee",
  "category": "Sports"
}

预期输出

• absurdity_score: 7.0-8.0
• satire_type: "conservative_satire"
• markers: ["Accused Of", "unfair advantage"]
• drama_adaptability: "B"
• 理由: 体育新闻讽刺，有冲突可演绎

4.4 测试用例 #4 - 低荒诞度内容 (负样本)

输入

{
  "title": "10 Tips For Better Sleep",
  "content": "Getting enough sleep is important for your health. Here are some tips...",
  "source": "clickhole",
  "category": "Lifestyle"
}

预期输出

• absurdity_score:
• satire_type: "none" 或 "low_satire"
• drama_adaptability: "D"
• 理由: 普通生活内容，无讽刺元素

4.5 测试用例 #5 - 需要本地化的敏感内容

输入

{
  "title": "Trump Announces Plan To Build Second Wall Around First Wall",
  "content": "WASHINGTON—Saying the additional barrier would provide much-needed security...",
  "source": "the_onion",
  "category": "Politics"
}

预期输出

• absurdity_score: 7.0+
• satire_type: "political_satire"
• drama_adaptability: "C"
• localization_notes: "需将政治人物转换为本地等效场景"
• 理由: 政治讽刺需本地化才能使用

---

5. 数据集规格

5.1 训练集 (20条)

来源	数量	类型分布
The Onion	5	死板式新闻
ClickHole	4	病毒内容
Babylon Bee	3	保守讽刺
Reductress	3	女性媒体讽刺
The Hard Times	3	朋克文化
McSweeney's	2	文学幽默

荒诞度分布

• 8-10分: 6条 (高适配)
• 6-7.9分: 8条 (中适配)
• 4-5.9分: 4条 (低适配)

5.2 测试集 (20条)

设计原则

• 覆盖全部7种讽刺类型
• 包含边界案例（讽刺度中等）
• 包含易误判案例（接近真新闻的讽刺）
• 人工标注ground truth

评估指标

• absurdity_score MAE (平均绝对误差)
• 类型分类准确率 > 75%
• 适配评级一致率 > 70%

---

6. 评估流程

6.1 自动化测试

npm run benchmark:satire-news

输出格式:
{
  "overall_score": 78,
  "dimensions": {
    "crawl_accuracy": 22,
    "satire_detection": 25,
    "drama_adaptation": 20,
    "output_format": 18
  },
  "test_cases": [
    { "id": 1, "score": 85, "passed": true },
    ...
  ]
}

6.2 人工验证

• 抽样10%进行人工复核
• 检查讽刺类型分类合理性
• 验证短剧改编建议可行性

---

7. 版本历史

版本	日期	变更
1.0.0	2026-03-25	初始版本，基于8个讽刺新闻源构建

---

基准文档结束