benchmark.md
3.96 KB
Satire News Scraper Benchmark
1. 评估维度
| 维度 | 权重 | 说明 |
|---|---|---|
| 抓取准确性 | 25% | RSS 解析正确,数据完整 |
| 荒诞识别质量 | 35% | 正确识别讽刺/荒诞内容 |
| 提取完整性 | 25% | 所有字段正确填充 |
| JSON 格式规范 | 15% | 符合 schema,可直接使用 |
2. 评分标准
总分
Final Score = Σ(dimension_score × dimension_weight)
industry_avg_score: 75
elite_score: 90
各维度细则
抓取准确性 (25分)
| 分值 | 标准 |
|---|---|
| 23-25 | 所有必需字段完整,无数据丢失 |
| 18-22 | 必需字段完整,1-2个可选字段缺失 |
| 13-17 | 关键字段完整,部分小问题 |
| 关键字段缺失 |
荒诞识别质量 (35分)
| 分值 | 标准 |
|---|---|
| 31-35 | absurdity_score 准确,标签合理,无遗漏 |
| 26-30 | 少量误判,整体准确 |
| 20-25 | 有明显误判 |
| 识别逻辑混乱 |
提取完整性 (25分)
| 分值 | 标准 |
|---|---|
| 23-25 | 所有字段准确填充 |
| 18-22 | 主要字段完整 |
| 13-17 | 关键字段存在,次要缺失 |
| 大面积字段为空 |
JSON 格式规范 (15分)
| 分值 | 标准 |
|---|---|
| 14-15 | 完全符合 schema |
| 11-13 | 基本符合,小问题 |
| 8-10 | 结构正确,格式问题 |
| 无法解析 |
3. 测试用例
测试用例 1: 政治讽刺 (The Onion)
输入:
<item>
<title>Congress Passes Law Making It Illegal To Be Poor</title>
<description>In a historic move, Congress has...</description>
<link>https://www.theonion.com/congress-poor-law</link>
<pubDate>Mon, 15 Jan 2024 10:00:00 GMT</pubDate>
</item>
期望输出要点:
- absurdity_score: ≥ 8.0
- absurd_premise: "立法禁止贫穷"
- satire_angle: "社会不平等政策的荒诞化"
- dramatic_twist: "将抽象社会问题变成可立法禁止的行为"
测试用例 2: 社会讽刺 (ClickHole)
输入:
<item>
<title>Which Classic Novel Are You Based On Your McDonald's Order?</title>
<description>Take this quiz to find out...</description>
<link>https://www.clickhole.com/novel-mcdonalds</link>
<pubDate>Tue, 16 Jan 2024 14:30:00 GMT</pubDate>
</item>
期望输出要点:
- absurdity_score: 7.0-8.0
- absurd_premise: "快餐订单决定文学品味"
- satire_angle: "讽刺无脑测试和快餐文化"
- dramatic_twist: "高雅文学与快餐的荒谬关联"
测试用例 3: 荒诞日常 (The Onion)
输入:
<item>
<title>Local Man Confident He Could Win Fight Against Goose</title>
<description>Despite having no combat experience...</description>
<link>https://www.theonion.com/man-vs-goose</link>
<pubDate>Wed, 17 Jan 2024 09:15:00 GMT</pubDate>
</item>
期望输出要点:
- absurdity_score: ≥ 7.5
- absurd_premise: "普通人自信能战胜鹅"
- satire_angle: "男性过度自信的自嘲"
- dramatic_twist: "人类高估自己vs鹅的战斗力"
测试用例 4: 低荒诞内容 (负样本)
输入:
<item>
<title>Local Weather: Sunny Today</title>
<description>Expect clear skies...</description>
<link>https://example.com/weather</link>
<pubDate>Thu, 18 Jan 2024 08:00:00 GMT</pubDate>
</item>
期望输出:
- absurdity_score:
- 标记为非讽刺内容
测试用例 5: 科技讽刺 (Babylon Bee)
输入:
<item>
<title>Twitter User Who Posted 'Delete Your Account' Shocked To Find It Actually Works</title>
<description>In a stunning turn of events...</description>
<link>https://babylonbee.com/twitter-delete</link>
<pubDate>Fri, 19 Jan 2024 11:45:00 GMT</pubDate>
</item>
期望输出要点:
- absurdity_score: ≥ 8.0
- absurd_premise: "网络用语意外成真"
- satire_angle: "网络喷子的讽刺"
- dramatic_twist: "攻击性评论被字面理解执行"
4. 版本历史
| 版本 | 日期 | 变更 |
|---|---|---|
| 1.0.0 | 2026-03-25 | 初始版本 |