knowhow_raw.md
11 KB
讽刺新闻网站调研报告
任务编号: T-mn5uzcwt 调研目标: 讽刺新闻网站数据源 - The Onion, ClickHole, Babylon Bee 及其他优质来源 调研日期: 2026-03-25 可信度: 高(多源交叉验证)
1. 核心目标网站分析
1.1 The Onion (theonion.com)
网站概况:
- 成立时间: 1988年(报纸)/ 1996年(网站)
- 定位: 美国最知名的讽刺新闻网站
- 风格: 严肃新闻报道格式 + 荒诞夸张内容
- 母公司: G/O Media
- 社交媒体: 数百万级粉丝
内容特点:
- 模拟主流新闻媒体(如CNN、Fox News)的报道风格
- 标题严肃,内容与标题形成荒诞反差
- 涵盖政治、科技、娱乐、体育、本地新闻等
- "Area Man" 系列是经典栏目
技术接入方案:
| 方式 | URL | 状态 | 说明 |
|---|---|---|---|
| RSS Feed | https://www.theonion.com/rss |
✅ 可用 | 主要接入方式 |
| 分栏目RSS | /local, /entertainment |
✅ 可用 | 分类订阅 |
| 官方API | 无 | ❌ 不存在 | 无官方REST API |
| 第三方API | RapidAPI | ⚠️ 非官方 | JSON格式,有限制 |
RSS结构 (标准RSS 2.0):
<item>
<title>讽刺新闻标题</title>
<link>文章URL</link>
<pubDate>发布时间</pubDate>
<description>包含图片+摘要</description>
<category>分类标签</category>
</item>
内容质量评级: elite
1.2 ClickHole (clickhole.com)
网站概况:
- 成立时间: 2014年
- 定位: 恶搞点击诱饵/病毒式内容媒体
- 母公司: The Onion (同属G/O Media)
- 目标: 讽刺BuzzFeed、Upworthy等病毒内容网站
内容特点:
- 夸张点击诱饵式标题
- 荒诞测验(Quiz)和列表文章
- 模仿社交媒体病毒传播套路
- 内容比The Onion更加无厘头和后现代
栏目分类:
- Quiz (
/category/quiz/) - 讽刺测验 - News (
/category/news/) - 讽刺新闻 - Lifestyle (
/category/lifestyle/) - 讽刺生活方式内容
技术接入方案:
| 方式 | URL | 状态 | 说明 |
|---|---|---|---|
| 主RSS | https://clickhole.com/feed |
✅ 可用 | 全部内容 |
| Quiz RSS | /category/quiz/feed |
✅ 可用 | 仅测验 |
| News RSS | /category/news/feed |
✅ 可用 | 仅新闻 |
| Lifestyle RSS | /category/lifestyle/feed |
✅ 可用 | 仅生活方式 |
内容质量评级: elite
1.3 Babylon Bee (babylonbee.com)
网站概况:
- 成立时间: 2016年
- 创始人: Adam Ford (后售予Seth Dillon)
- 定位: 基督教保守派讽刺新闻
- 口号: "Fake news you can trust"
- 社交媒体: 4.8M Twitter粉丝,影响力巨大
内容特点:
- 从基督教福音派视角讽刺政治、文化、宗教
- 保守派立场,经常引发争议
- 被Facebook/Twitter多次标记为"潜在误导信息"
- 相比The Onion更明显的政治倾向
内容分类:
- Politics (政治)
- Crime (犯罪)
- Lifestyle (生活方式)
- Sports (体育)
- Life (生活)
- U.S. (美国新闻)
- Entertainment (娱乐)
技术接入方案:
| 方式 | URL | 状态 | 说明 |
|---|---|---|---|
| RSS Feed | https://babylonbee.com/feed |
✅ 可用 | 标准WordPress RSS |
| API | 无 | ❌ 不存在 | 无官方API |
RSS结构:
<item>
<title>讽刺标题</title>
<link>文章链接</link>
<pubDate>发布时间</pubDate>
<dc:creator>Babylon Bee</dc:creator>
<category>分类标签</category>
<description>图片+摘要</description>
</item>
内容质量评级: elite
2. 扩展讽刺新闻源
2.1 国际优质来源
| 网站 | 地区 | RSS URL | 特色 | 评级 |
|---|---|---|---|---|
| The Daily Mash | 英国 | thedailymash.co.uk/feed | 英式干幽默 | elite |
| NewsThump | 英国 | newsthump.com/feed | 英国政治讽刺 | elite |
| Waterford Whispers News | 爱尔兰 | waterfordwhispersnews.com/feed | 爱尔兰视角,社媒活跃 | elite |
| The Betoota Advocate | 澳大利亚 | betootaadvocate.com/feed | 澳洲内陆报纸风格 | elite |
| The Beaverton | 加拿大 | thebeaverton.com/feed | 加拿大政治文化 | high |
| The Shovel | 澳大利亚 | theshovel.com.au/feed | 澳式讽刺 | high |
| The Poke | 英国 | thepoke.co.uk/feed | 图片+短文 | average |
| Private Eye | 英国 | private-eye.co.uk/rss | 传奇杂志,部分付费 | elite |
2.2 垂直领域讽刺
| 网站 | 领域 | RSS URL | 特色 | 评级 |
|---|---|---|---|---|
| Reductress | 女性媒体 | reductress.com/feed | 讽刺时尚杂志 | elite |
| The Hard Times | 朋克摇滚 | thehardtimes.net/feed | 音乐场景讽刺 | elite |
| Duffel Blog | 军事 | duffelblog.com/feed | "军队的洋葱" | elite |
| The Fauxy | 南亚视角 | thefauxy.com/feed | 印度/南亚新闻 | high |
2.3 用户生成/众包
| 网站 | 模式 | RSS URL | 特色 | 评级 |
|---|---|---|---|---|
| The Spoof | UGC | thespoof.com/rss | 最大假新闻作者社区 | average |
| Genesius Times | 独立 | genesiustimes.com/feed | 宗教保守讽刺 | average |
3. RSS vs 网页爬虫方案
3.1 方案对比
| 维度 | RSS Feed | 网页爬虫 |
|---|---|---|
| 开发成本 | 极低 | 中 |
| 维护成本 | 极低 | 高(网站改版需更新选择器) |
| 数据结构化 | 高(标准XML) | 需提取解析 |
| 实时性 | 高 | 高 |
| 内容完整度 | 摘要+链接 | 可获取全文 |
| 反爬风险 | 无 | 低-中 |
| 限制 | 仅最新N条(通常50-100) | 可爬取历史 |
3.2 推荐策略
双模式策略:
- RSS模式(主): 实时监控新内容
- 网页模式(辅): 定期全量抓取历史内容
4. 网页抓取策略(备用)
4.1 The Onion 选择器
selectors:
article_list:
container: "article"
title: "h1" # 或 article h2 a
link: "a[href]"
summary: ".summary" # 或 h1 + p
article_detail:
title: "h1"
content: "article p" # 段落列表
author: ".author"
publish_date: "time"
category: ".category"
4.2 Babylon Bee 选择器
selectors:
article_list:
container: "article.post"
title: "h2.entry-title a"
link: "h2.entry-title a"
summary: ".entry-summary"
article_detail:
title: "h1.entry-title"
content: ".entry-content p"
author: ".author-name"
publish_date: "time.entry-date"
category: ".cat-links a"
4.3 ClickHole 选择器
selectors:
article_list:
container: "article"
title: "h2 a" # 或 .entry-title
link: "h2 a"
article_detail:
title: "h1.entry-title"
content: ".entry-content"
category: ".category a"
5. 数据字段映射
5.1 RSS标准字段
| 字段 | RSS路径 | 类型 | 说明 |
|---|---|---|---|
title |
/rss/channel/item/title |
string | 讽刺标题 |
link |
/rss/channel/item/link |
string | 原文链接 |
pub_date |
/rss/channel/item/pubDate |
datetime | 发布时间 |
description |
/rss/channel/item/description |
string | HTML摘要 |
category |
/rss/channel/item/category |
array | 分类标签 |
guid |
/rss/channel/item/guid |
string | 唯一ID |
creator |
/rss/channel/item/dc:creator |
string | 作者 |
5.2 扩展字段(网页抓取)
| 字段 | 类型 | 说明 |
|---|---|---|
full_content |
string | 完整正文(HTML或纯文本) |
featured_image |
string | 头图URL |
tags |
array | 标签列表 |
word_count |
int | 字数 |
satire_type |
enum | 讽刺类型 |
6. 讽刺内容分类体系
6.1 主题分类
categories:
politics: "政治"
entertainment: "娱乐"
technology: "科技"
sports: "体育"
lifestyle: "生活方式"
crime: "犯罪/法律"
business: "商业"
religion: "宗教"
international: "国际"
local: "本地新闻"
6.2 讽刺手法
satire_techniques:
news_parody: "新闻模仿" # 模仿新闻报道格式
exaggeration: "夸张" # 极端化现实
irony: "反讽" # 说反话
absurdism: "荒诞" # 无逻辑内容
clickbait_spoof: "点击诱饵讽刺" # 讽刺病毒标题
6.3 立场倾向
political_leaning:
neutral: "中性" # The Onion, ClickHole
conservative: "保守派" # Babylon Bee, Genesius Times
liberal: "自由派" # 部分来源
religious: "宗教视角" # Babylon Bee (Christian)
7. 数据质量控制
7.1 内容验证规则
VALIDATION_RULES = {
# 基础检查
"title_not_empty": True,
"title_min_length": 10,
"link_valid": True,
"pub_date_valid": True,
# 讽刺内容特征
"contains_satire_keywords": True,
"not_real_news": True, # 需与真实新闻对比
# 重复检测
"unique_guid": True,
"title_similarity_threshold": 0.9
}
7.2 与其他新闻源的区分
讽刺新闻vs真实新闻的识别特征:
- 来源域名: 白名单机制
- 标题夸张度: 使用NLP检测过度夸张
- 内容一致性: 交叉验证主流新闻源
- 网站标识: 检查"About"页面的讽刺声明
8. 调度与采集策略
8.1 采集频率
| 来源类型 | RSS检查频率 | 全量爬取频率 |
|---|---|---|
| 核心来源 (The Onion等) | 每15分钟 | 每月 |
| 活跃来源 (Babylon Bee等) | 每30分钟 | 每季度 |
| 其他来源 | 每小时 | 每半年 |
8.2 增量同步
- 使用
guid或link去重 - 记录最后采集时间戳
- RSS feed通常返回最近50-100条
9. 参考资源
9.1 RSS Feed列表
9.2 学术研究
- 讽刺新闻检测NLP研究
- 假新闻vs讽刺新闻分类
9.3 第三方API
- RapidAPI The Onion
- Webz News API (带satirical_news标签)
10. 总结与建议
推荐数据源优先级
Tier 1 - 必采:
- The Onion (theonion.com/rss)
- Babylon Bee (babylonbee.com/feed)
- ClickHole (clickhole.com/feed)
Tier 2 - 高价值:
- Reductress (女性视角)
- The Hard Times (音乐文化)
- The Daily Mash (英式幽默)
- Waterford Whispers (爱尔兰)
Tier 3 - 补充:
- The Betoota Advocate (澳洲)
- The Beaverton (加拿大)
- Duffel Blog (军事)
技术实施建议
- 阶段1: 实现RSS模式,覆盖Tier 1来源
- 阶段2: 增加RSS覆盖到Tier 2
- 阶段3: 对关键来源实现网页爬虫备份
- 阶段4: 建立内容分类和标签体系
注意事项
- Babylon Bee有明确政治立场,使用时需标注
- ClickHole内容可能过于荒诞,需评估适用场景
- 定期验证RSS feed可用性(网站可能改版)
- 考虑版权和合理使用原则
报告生成时间: 2026-03-25 置信度: 高 版本: 1.0