knowhow.md
4.45 KB
Satire News Scraper Knowledge Base
1. 讽刺新闻网站技术方案
1.1 推荐抓取模式
RSS 为主 + 网页为补充
| 模式 | 适用场景 | 实现复杂度 |
|---|---|---|
| RSS Feed | 日常监控、批量抓取 | 低 |
| 网页详情 | 获取完整正文 | 中 |
1.2 RSS 解析规范
标准 RSS 2.0 字段
<item>
<title>文章标题</title>
<link>https://...</link>
<description>摘要或全文</description>
<pubDate>Mon, 01 Jan 2024 00:00:00 GMT</pubDate>
<category>分类标签</category>
</item>
解析规则
title→headline(直接映射)description→summary(HTML 转纯文本)link→source_url(直接映射)pubDate→published_at(转 ISO8601)
2. 荒诞内容识别方法论
2.1 标题分析算法
荒诞度评分
absurdity_score = (
hyperbole_matches * 0.30 +
absurd_subject_score * 0.25 +
irony_indicator * 0.25 +
structural_absurdity * 0.20
) * 10
检测维度
| 维度 | 权重 | 检测方法 |
|---|---|---|
| 夸张用词 | 30% | 关键词匹配 (million, 100%, everyone) |
| 荒诞主体 | 25% | 普通名词执行非凡动作 |
| 讽刺指示 | 25% | 语境反差检测 |
| 结构荒诞 | 20% | 标题句式模式 |
2.2 讽刺角度识别
分类体系
- 政治讽刺 - 政策、人物、制度
- 社会讽刺 - 习俗、趋势、现象
- 消费讽刺 - 品牌、广告、购物
- 科技讽刺 - 社交媒体、科技产品
- 职场讽刺 - 办公文化、职业发展
3. 短剧素材提取 SOP
3.1 提取流程
Step 1: 抓取 RSS
└─ 获取标题、链接、发布时间
└─ 清洗 HTML,提取纯文本
Step 2: 荒诞度评分
├─ 分析标题关键词
├─ 识别超现实设定
└─ 计算 absurdity_score
Step 3: 内容结构化
├─ headline: 原标题
├─ absurd_premise: 一句话荒诞设定
├─ satire_angle: 讽刺目标
├─ dramatic_twist: 反转点
└─ adaptation_notes: 改编建议
Step 4: JSON 输出
└─ 按 schema 格式化
3.2 各字段提取规则
absurd_premise
- 从标题提取核心荒诞概念
- 用一句话概括超现实设定
- 示例: "Local man declares war on clouds" → "普通人向自然现象宣战"
satire_angle
- 分析讽刺的具体目标
- 识别被戏仿的社会现象
- 示例: 自我标签化、过度反应、无意义抗议
dramatic_twist
- 识别标题中的意外元素
- 提取转折/揭示点
- 示例: 字面理解 vs 隐喻理解的反差
adaptation_notes
{
"genre": "短剧类型",
"tone": "基调风格",
"visual_elements": ["视觉化建议"],
"dialogue_style": "对白风格"
}
4. 输出格式规范
4.1 JSON Schema
{
"headline": "原标题",
"absurd_premise": "一句话荒诞设定",
"satire_angle": "讽刺角度",
"dramatic_twist": "剧情反转点",
"adaptation_notes": {
"genre": "喜剧类型",
"tone": "基调",
"visual_elements": ["视觉元素"],
"dialogue_style": "对白风格"
},
"metadata": {
"source": "来源网站",
"url": "原文链接",
"published_at": "发布时间",
"absurdity_score": 7.5
}
}
4.2 字段说明
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
| headline | string | Y | 原标题,保留完整性 |
| absurd_premise | string | Y | 中文,一句话概括 |
| satire_angle | string | Y | 讽刺目标,中文 |
| dramatic_twist | string | Y | 反转点,中文 |
| adaptation_notes.genre | string | Y | 短剧类型 |
| adaptation_notes.tone | string | Y | 基调风格 |
| adaptation_notes.visual_elements | array | N | 视觉建议 |
| adaptation_notes.dialogue_style | string | N | 对白风格 |
| metadata.absurdity_score | number | Y | 0-10 |
5. 常见陷阱与处理
| 陷阱 | 现象 | 解决方案 |
|---|---|---|
| RSS 仅摘要 | description 不完整 | 访问详情页获取全文 |
| 时间格式差异 | 各站格式不统一 | 统一转 ISO8601 |
| 编码问题 | 特殊字符乱码 | 强制 UTF-8 |
| 内容重复 | 多站报道相同话题 | URL 去重 |
6. 最佳实践
- 优先使用 RSS - 稳定、结构化、尊重网站
- 缓存已抓取 - 避免重复处理
- 评分阈值 - 只输出 absurdity_score > 6.0
- 保留原文 - 不修改 headline,保持原汁原味
- 中文适配 - adaptation_notes 用中文,便于创作者理解