knowhow.md 4.45 KB

Satire News Scraper Knowledge Base

1. 讽刺新闻网站技术方案

1.1 推荐抓取模式

RSS 为主 + 网页为补充

模式 适用场景 实现复杂度
RSS Feed 日常监控、批量抓取 低
网页详情 获取完整正文 中

1.2 RSS 解析规范

标准 RSS 2.0 字段

<item>
  <title>文章标题</title>
  <link>https://...</link>
  <description>摘要或全文</description>
  <pubDate>Mon, 01 Jan 2024 00:00:00 GMT</pubDate>
  <category>分类标签</category>
</item>

解析规则

  • title → headline (直接映射)
  • description → summary (HTML 转纯文本)
  • link → source_url (直接映射)
  • pubDate → published_at (转 ISO8601)

2. 荒诞内容识别方法论

2.1 标题分析算法

荒诞度评分

absurdity_score = (
  hyperbole_matches * 0.30 +
  absurd_subject_score * 0.25 +
  irony_indicator * 0.25 +
  structural_absurdity * 0.20
) * 10

检测维度

维度 权重 检测方法
夸张用词 30% 关键词匹配 (million, 100%, everyone)
荒诞主体 25% 普通名词执行非凡动作
讽刺指示 25% 语境反差检测
结构荒诞 20% 标题句式模式

2.2 讽刺角度识别

分类体系

  1. 政治讽刺 - 政策、人物、制度
  2. 社会讽刺 - 习俗、趋势、现象
  3. 消费讽刺 - 品牌、广告、购物
  4. 科技讽刺 - 社交媒体、科技产品
  5. 职场讽刺 - 办公文化、职业发展

3. 短剧素材提取 SOP

3.1 提取流程

Step 1: 抓取 RSS
  └─ 获取标题、链接、发布时间
  └─ 清洗 HTML,提取纯文本

Step 2: 荒诞度评分
  ├─ 分析标题关键词
  ├─ 识别超现实设定
  └─ 计算 absurdity_score

Step 3: 内容结构化
  ├─ headline: 原标题
  ├─ absurd_premise: 一句话荒诞设定
  ├─ satire_angle: 讽刺目标
  ├─ dramatic_twist: 反转点
  └─ adaptation_notes: 改编建议

Step 4: JSON 输出
  └─ 按 schema 格式化

3.2 各字段提取规则

absurd_premise

  • 从标题提取核心荒诞概念
  • 用一句话概括超现实设定
  • 示例: "Local man declares war on clouds" → "普通人向自然现象宣战"

satire_angle

  • 分析讽刺的具体目标
  • 识别被戏仿的社会现象
  • 示例: 自我标签化、过度反应、无意义抗议

dramatic_twist

  • 识别标题中的意外元素
  • 提取转折/揭示点
  • 示例: 字面理解 vs 隐喻理解的反差

adaptation_notes

{
  "genre": "短剧类型",
  "tone": "基调风格",
  "visual_elements": ["视觉化建议"],
  "dialogue_style": "对白风格"
}

4. 输出格式规范

4.1 JSON Schema

{
  "headline": "原标题",
  "absurd_premise": "一句话荒诞设定",
  "satire_angle": "讽刺角度",
  "dramatic_twist": "剧情反转点",
  "adaptation_notes": {
    "genre": "喜剧类型",
    "tone": "基调",
    "visual_elements": ["视觉元素"],
    "dialogue_style": "对白风格"
  },
  "metadata": {
    "source": "来源网站",
    "url": "原文链接",
    "published_at": "发布时间",
    "absurdity_score": 7.5
  }
}

4.2 字段说明

字段 类型 必填 说明
headline string Y 原标题,保留完整性
absurd_premise string Y 中文,一句话概括
satire_angle string Y 讽刺目标,中文
dramatic_twist string Y 反转点,中文
adaptation_notes.genre string Y 短剧类型
adaptation_notes.tone string Y 基调风格
adaptation_notes.visual_elements array N 视觉建议
adaptation_notes.dialogue_style string N 对白风格
metadata.absurdity_score number Y 0-10

5. 常见陷阱与处理

陷阱 现象 解决方案
RSS 仅摘要 description 不完整 访问详情页获取全文
时间格式差异 各站格式不统一 统一转 ISO8601
编码问题 特殊字符乱码 强制 UTF-8
内容重复 多站报道相同话题 URL 去重

6. 最佳实践

  1. 优先使用 RSS - 稳定、结构化、尊重网站
  2. 缓存已抓取 - 避免重复处理
  3. 评分阈值 - 只输出 absurdity_score > 6.0
  4. 保留原文 - 不修改 headline,保持原汁原味
  5. 中文适配 - adaptation_notes 用中文,便于创作者理解