knowhow_raw.md 4.83 KB

Satire News Scraper Knowhow - Raw Research

1. 目标网站概述

1.1 The Onion (theonion.com)

  • 类型: 美国讽刺新闻鼻祖
  • 风格: 荒诞现实主义,严肃报道荒谬事件
  • 内容特征:
    • 模仿传统报纸格式
    • 标题极具冲击力
    • 政治、社会、文化讽刺
  • RSS: https://www.theonion.com/rss

1.2 ClickHole (clickhole.com)

  • 类型: 点击诱饵讽刺
  • 风格: 恶搞 BuzzFeed 式内容
  • 内容特征:
    • 列表式文章 ("10 reasons why...")
    • quiz / 测试类
    • 病毒式内容戏仿
  • RSS: https://www.clickhole.com/rss

1.3 Babylon Bee (babylonbee.com)

  • 类型: 保守派讽刺
  • 风格: 政治讽刺为主
  • 内容特征:
    • 基督教/保守价值观视角
    • 政治人物戏仿
    • 文化战争议题
  • RSS: https://babylonbee.com/feed

2. 技术方案对比

方案 优点 缺点 推荐度
RSS Feed 结构化数据、官方支持、稳定 内容摘要、字段有限 ⭐⭐⭐⭐⭐
网页爬取 完整内容、更多字段 需要解析HTML、可能被封 ⭐⭐⭐⭐
API 无官方API - ❌

推荐: RSS 为主,网页爬取为补充


3. RSS Feed 规范

3.1 通用 RSS 字段映射

RSS 字段 内部字段 说明
title headline 文章标题
description summary 摘要/正文开头
link url 原文链接
pubDate published_at 发布时间
category tags 分类标签
content:encoded full_content 完整内容(部分支持)

3.2 各网站 RSS 端点

The Onion:
- 首页: https://www.theonion.com/rss
- 分类: https://www.theonion.com/{category}/rss

ClickHole:
- 首页: https://www.clickhole.com/rss

Babylon Bee:
- 首页: https://babylonbee.com/feed

4. 荒诞剧情识别指标

4.1 荒诞元素检测

类型 关键词/特征 示例
超现实设定 "announces", "reveals", "declares" "Local Man Declares Himself Mayor Of Wendy's"
夸张数字 "million billion", "infinity" "Study: 98% Of Americans..."
不可能场景 动物/物体拟人、时空错乱 "Dog Files Tax Return"
讽刺角度 政治、社会现象反讽 "Congress Passes Law..."

4.2 标题结构模式

[主体] + [荒诞动作] + [夸张对象]
- Local Man + Declares War On + Clouds
- Study Finds + 100% Of People + Lying
- Breaking: + Cat + Elected President

4.3 讽刺类型分类

类型 特征 适合短剧
政治讽刺 政策/人物戏仿 政治喜剧
社会讽刺 社会现象夸张 社会观察剧
荒诞日常 日常生活扭曲 超现实喜剧
黑色幽默 严肃话题戏谑 黑色喜剧

5. 短剧素材提取维度

5.1 结构化字段

{
  "headline": "原标题",
  "absurd_premise": "荒诞设定(一句话)",
  "satire_angle": "讽刺角度/目标",
  "dramatic_twist": "剧情反转点",
  "adaptation_notes": {
    "genre": "适合短剧类型",
    "tone": "基调(荒诞/黑色/轻松)",
    "visual_elements": ["视觉化建议"],
    "dialogue_style": "对白风格"
  }
}

5.2 提取规则

Absurd Premise: 提取标题中的超现实设定 Satire Angle: 分析讽刺的目标(什么现象/观念) Dramatic Twist: 识别标题中的意外/反转


6. 数据抓取配置

6.1 抓取策略

  • 频率: 每日一次(讽刺新闻更新较慢)
  • 数量: 每站 10-20 篇最新
  • 模式: RSS 优先,详情页补充

6.2 字段映射表

源字段 目标字段 转换规则
rss.title headline 直接映射
rss.description summary HTML 转纯文本
rss.link source_url 直接映射
rss.pubDate published_at 转 ISO8601
rss.category category 数组
detail.content full_content 正文提取

7. 示例数据

The Onion 示例

<item>
  <title>Man Who Says 'I'm Not A Cat Person' Actually Just Doesn't Like Cats</title>
  <description>A local man who frequently claims...</description>
  <link>https://www.theonion.com/...</link>
  <pubDate>Wed, 15 Jan 2025 14:30:00 GMT</pubDate>
</item>

输出格式

{
  "headline": "Man Who Says 'I'm Not A Cat Person' Actually Just Doesn't Like Cats",
  "absurd_premise": "Man's obvious statement treated as revelation",
  "satire_angle": "Mocking pointless self-identification trends",
  "dramatic_twist": "The 'not a cat person' label is literally true, not metaphorical",
  "adaptation_notes": {
    "genre": "observational comedy",
    "tone": "dry humor",
    "visual_elements": ["man avoiding cats", "obvious revelation moment"],
    "dialogue_style": "deadpan documentary-style"
  }
}