benchmark.md 3.96 KB

Satire News Scraper Benchmark

1. 评估维度

维度 权重 说明
抓取准确性 25% RSS 解析正确,数据完整
荒诞识别质量 35% 正确识别讽刺/荒诞内容
提取完整性 25% 所有字段正确填充
JSON 格式规范 15% 符合 schema,可直接使用

2. 评分标准

总分

Final Score = Σ(dimension_score × dimension_weight)
industry_avg_score: 75
elite_score: 90

各维度细则

抓取准确性 (25分)

分值 标准
23-25 所有必需字段完整,无数据丢失
18-22 必需字段完整,1-2个可选字段缺失
13-17 关键字段完整,部分小问题
关键字段缺失

荒诞识别质量 (35分)

分值 标准
31-35 absurdity_score 准确,标签合理,无遗漏
26-30 少量误判,整体准确
20-25 有明显误判
识别逻辑混乱

提取完整性 (25分)

分值 标准
23-25 所有字段准确填充
18-22 主要字段完整
13-17 关键字段存在,次要缺失
大面积字段为空

JSON 格式规范 (15分)

分值 标准
14-15 完全符合 schema
11-13 基本符合,小问题
8-10 结构正确,格式问题
无法解析

3. 测试用例

测试用例 1: 政治讽刺 (The Onion)

输入:

<item>
  <title>Congress Passes Law Making It Illegal To Be Poor</title>
  <description>In a historic move, Congress has...</description>
  <link>https://www.theonion.com/congress-poor-law</link>
  <pubDate>Mon, 15 Jan 2024 10:00:00 GMT</pubDate>
</item>

期望输出要点:

  • absurdity_score: ≥ 8.0
  • absurd_premise: "立法禁止贫穷"
  • satire_angle: "社会不平等政策的荒诞化"
  • dramatic_twist: "将抽象社会问题变成可立法禁止的行为"

测试用例 2: 社会讽刺 (ClickHole)

输入:

<item>
  <title>Which Classic Novel Are You Based On Your McDonald's Order?</title>
  <description>Take this quiz to find out...</description>
  <link>https://www.clickhole.com/novel-mcdonalds</link>
  <pubDate>Tue, 16 Jan 2024 14:30:00 GMT</pubDate>
</item>

期望输出要点:

  • absurdity_score: 7.0-8.0
  • absurd_premise: "快餐订单决定文学品味"
  • satire_angle: "讽刺无脑测试和快餐文化"
  • dramatic_twist: "高雅文学与快餐的荒谬关联"

测试用例 3: 荒诞日常 (The Onion)

输入:

<item>
  <title>Local Man Confident He Could Win Fight Against Goose</title>
  <description>Despite having no combat experience...</description>
  <link>https://www.theonion.com/man-vs-goose</link>
  <pubDate>Wed, 17 Jan 2024 09:15:00 GMT</pubDate>
</item>

期望输出要点:

  • absurdity_score: ≥ 7.5
  • absurd_premise: "普通人自信能战胜鹅"
  • satire_angle: "男性过度自信的自嘲"
  • dramatic_twist: "人类高估自己vs鹅的战斗力"

测试用例 4: 低荒诞内容 (负样本)

输入:

<item>
  <title>Local Weather: Sunny Today</title>
  <description>Expect clear skies...</description>
  <link>https://example.com/weather</link>
  <pubDate>Thu, 18 Jan 2024 08:00:00 GMT</pubDate>
</item>

期望输出:

  • absurdity_score:
  • 标记为非讽刺内容

测试用例 5: 科技讽刺 (Babylon Bee)

输入:

<item>
  <title>Twitter User Who Posted 'Delete Your Account' Shocked To Find It Actually Works</title>
  <description>In a stunning turn of events...</description>
  <link>https://babylonbee.com/twitter-delete</link>
  <pubDate>Fri, 19 Jan 2024 11:45:00 GMT</pubDate>
</item>

期望输出要点:

  • absurdity_score: ≥ 8.0
  • absurd_premise: "网络用语意外成真"
  • satire_angle: "网络喷子的讽刺"
  • dramatic_twist: "攻击性评论被字面理解执行"

4. 版本历史

版本 日期 变更
1.0.0 2026-03-25 初始版本