# Satire News Scraper Knowhow - Raw Research ## 1. 目标网站概述 ### 1.1 The Onion (theonion.com) - **类型**: 美国讽刺新闻鼻祖 - **风格**: 荒诞现实主义,严肃报道荒谬事件 - **内容特征**: - 模仿传统报纸格式 - 标题极具冲击力 - 政治、社会、文化讽刺 - **RSS**: https://www.theonion.com/rss ### 1.2 ClickHole (clickhole.com) - **类型**: 点击诱饵讽刺 - **风格**: 恶搞 BuzzFeed 式内容 - **内容特征**: - 列表式文章 ("10 reasons why...") - quiz / 测试类 - 病毒式内容戏仿 - **RSS**: https://www.clickhole.com/rss ### 1.3 Babylon Bee (babylonbee.com) - **类型**: 保守派讽刺 - **风格**: 政治讽刺为主 - **内容特征**: - 基督教/保守价值观视角 - 政治人物戏仿 - 文化战争议题 - **RSS**: https://babylonbee.com/feed --- ## 2. 技术方案对比 | 方案 | 优点 | 缺点 | 推荐度 | |------|------|------|--------| | **RSS Feed** | 结构化数据、官方支持、稳定 | 内容摘要、字段有限 | ⭐⭐⭐⭐⭐ | | **网页爬取** | 完整内容、更多字段 | 需要解析HTML、可能被封 | ⭐⭐⭐⭐ | | **API** | 无官方API | - | ❌ | **推荐**: RSS 为主,网页爬取为补充 --- ## 3. RSS Feed 规范 ### 3.1 通用 RSS 字段映射 | RSS 字段 | 内部字段 | 说明 | |----------|----------|------| | title | headline | 文章标题 | | description | summary | 摘要/正文开头 | | link | url | 原文链接 | | pubDate | published_at | 发布时间 | | category | tags | 分类标签 | | content:encoded | full_content | 完整内容(部分支持) | ### 3.2 各网站 RSS 端点 ``` The Onion: - 首页: https://www.theonion.com/rss - 分类: https://www.theonion.com/{category}/rss ClickHole: - 首页: https://www.clickhole.com/rss Babylon Bee: - 首页: https://babylonbee.com/feed ``` --- ## 4. 荒诞剧情识别指标 ### 4.1 荒诞元素检测 | 类型 | 关键词/特征 | 示例 | |------|-------------|------| | **超现实设定** | "announces", "reveals", "declares" | "Local Man Declares Himself Mayor Of Wendy's" | | **夸张数字** | "million billion", "infinity" | "Study: 98% Of Americans..." | | **不可能场景** | 动物/物体拟人、时空错乱 | "Dog Files Tax Return" | | **讽刺角度** | 政治、社会现象反讽 | "Congress Passes Law..." | ### 4.2 标题结构模式 ``` [主体] + [荒诞动作] + [夸张对象] - Local Man + Declares War On + Clouds - Study Finds + 100% Of People + Lying - Breaking: + Cat + Elected President ``` ### 4.3 讽刺类型分类 | 类型 | 特征 | 适合短剧 | |------|------|----------| | **政治讽刺** | 政策/人物戏仿 | 政治喜剧 | | **社会讽刺** | 社会现象夸张 | 社会观察剧 | | **荒诞日常** | 日常生活扭曲 | 超现实喜剧 | | **黑色幽默** | 严肃话题戏谑 | 黑色喜剧 | --- ## 5. 短剧素材提取维度 ### 5.1 结构化字段 ```json { "headline": "原标题", "absurd_premise": "荒诞设定(一句话)", "satire_angle": "讽刺角度/目标", "dramatic_twist": "剧情反转点", "adaptation_notes": { "genre": "适合短剧类型", "tone": "基调(荒诞/黑色/轻松)", "visual_elements": ["视觉化建议"], "dialogue_style": "对白风格" } } ``` ### 5.2 提取规则 **Absurd Premise**: 提取标题中的超现实设定 **Satire Angle**: 分析讽刺的目标(什么现象/观念) **Dramatic Twist**: 识别标题中的意外/反转 --- ## 6. 数据抓取配置 ### 6.1 抓取策略 - **频率**: 每日一次(讽刺新闻更新较慢) - **数量**: 每站 10-20 篇最新 - **模式**: RSS 优先,详情页补充 ### 6.2 字段映射表 | 源字段 | 目标字段 | 转换规则 | |--------|----------|----------| | rss.title | headline | 直接映射 | | rss.description | summary | HTML 转纯文本 | | rss.link | source_url | 直接映射 | | rss.pubDate | published_at | 转 ISO8601 | | rss.category | category | 数组 | | detail.content | full_content | 正文提取 | --- ## 7. 示例数据 ### The Onion 示例 ```xml Man Who Says 'I'm Not A Cat Person' Actually Just Doesn't Like Cats A local man who frequently claims... https://www.theonion.com/... Wed, 15 Jan 2025 14:30:00 GMT ``` ### 输出格式 ```json { "headline": "Man Who Says 'I'm Not A Cat Person' Actually Just Doesn't Like Cats", "absurd_premise": "Man's obvious statement treated as revelation", "satire_angle": "Mocking pointless self-identification trends", "dramatic_twist": "The 'not a cat person' label is literally true, not metaphorical", "adaptation_notes": { "genre": "observational comedy", "tone": "dry humor", "visual_elements": ["man avoiding cats", "obvious revelation moment"], "dialogue_style": "deadpan documentary-style" } } ```