knowhow.md 15.3 KB

Edit Raw Blame History


Reddit Scraper V2 - 知识体系文档

生成日期: 2026-03-25
数据来源: 280 条合成 Reddit 帖子（基于真实分布模式）
覆盖 Subreddits: r/AmITheAsshole, r/relationship_advice, r/funny, r/jokes, r/StandUpComedy


1. 数据分析结论
1.1 整体分布统计


指标
数值
说明


总帖子数
280
合成数据集规模


戏剧性候选 (≥6.0)
133 (47.5%)
适合短剧改编的素材


高互动内容
186
score>5000 或 comments>1000


平均点赞数
8,607
全平台平均值


平均评论数
933
全平台平均值


平均 UP 率
0.84
用户认可度指标


1.2 戏剧性等级分布
高戏剧性 (≥7.0):  ████████████████████ 106条 (37.9%)  → 优先改编
中戏剧性 (5.0-7.0): ████████ 42条 (15.0%)   → 潜力素材
低戏剧性 (<5.0):    ████████████████████████ 132条 (47.1%) → 一般素材

1.3 各 Subreddit 特征对比


Subreddit
占比
平均点赞
平均评论
平均UP率
戏剧性特征
短剧价值


r/AmITheAsshole
30%
8,177
1,962
0.81
极高
⭐⭐⭐⭐⭐


r/relationship_advice
25%
4,921
1,029
0.83
高
⭐⭐⭐⭐⭐


r/funny
20%
14,167
231
0.90
中等
⭐⭐⭐


r/jokes
15%
11,026
164
0.85
低
⭐⭐


r/StandUpComedy
10%
4,363
164
0.84
中等
⭐⭐⭐


洞察: AITA 和 relationship_advice 是短剧素材的金矿，具有最高戏剧性评分和最丰富的情感冲突。
1.4 高互动内容特征分析
阈值定义: score > 5000 或 comments > 1000

高互动帖子的共性特征:


话题争议性: upvote_ratio 通常在 0.70-0.85 之间（低比率代表争议大）
情感共鸣: 涉及家庭、婚恋、职场等普世主题
角色明确: 有清晰的 protagonist 和 antagonist 对立
情节完整: 包含起因-经过-结果（或待解决）
冲突尖锐: 道德两难、信任危机、价值观冲突


分位数参考 (P75 - 前25%):
| Subreddit | P75点赞 | P75评论 |
|-----------|---------|---------|
| r/funny | 22,202 | 338 |
| r/jokes | 17,061 | 289 |
| r/AmITheAsshole | 13,142 | 3,305 |
| r/relationship_advice | 8,742 | 1,728 |
| r/StandUpComedy | 7,431 | 297 |


2. 戏剧性评分模型
2.1 计算公式
dramatic_score = min(10, (
  // 1. 互动量得分 (0-4分)
  min(comments / 1500, 4) + min(score / 8000, 3)

  // 2. 争议度得分 (0-3分) - upvote_ratio 越低越具争议
  + (1 - upvote_ratio) * 15

  // 3. 冲突类型权重 (1-3分)
  + conflict_type_weight
) * subreddit_bias)

2.2 冲突类型权重表


冲突类型
权重
短剧适配度
典型场景


relationship_crisis
2.8
⭐⭐⭐⭐⭐
感情危机、信任破裂


breakup_drama
2.6
⭐⭐⭐⭐⭐
分手冲突、纠缠不清


family_conflict
2.5
⭐⭐⭐⭐⭐
原生家庭矛盾


trust_issues
2.4
⭐⭐⭐⭐
怀疑、欺骗、背叛


inheritance_dispute
2.3
⭐⭐⭐⭐
财产纠纷、利益冲突


wedding_drama
2.2
⭐⭐⭐⭐
婚礼变故、婆媳冲突


workplace_drama
2.0
⭐⭐⭐⭐
职场斗争、办公室政治


communication_breakdown
1.8
⭐⭐⭐
误会、信息不对等


absurd_situation
1.5
⭐⭐⭐
荒诞喜剧、黑色幽默


unexpected_twist
1.4
⭐⭐⭐
反转、意外


social_commentary
1.3
⭐⭐⭐
社会讽刺、观察喜剧


dark_humor
1.2
⭐⭐
黑色幽默


observational_humor
0.9
⭐⭐
观察喜剧


self_deprecation
0.8
⭐⭐
自嘲


wordplay
0.8
⭐
文字游戏


social_awkwardness
1.0
⭐
社交尴尬


2.3 Subreddit 基础权重


Subreddit
权重
说明


AmITheAsshole
1.20
天然戏剧性加成


relationship_advice
1.15
情感冲突密集


funny
0.80
轻度戏剧性


StandUpComedy
0.70
需要深度挖掘


jokes
0.60
主要提供喜剧元素


2.4 戏剧性等级定义


等级
分数区间
特征
短剧建议


高戏剧性
≥7.0
冲突尖锐、角色对立明确、情感张力强
优先改编，完整剧情


中戏剧性
5.0-7.0
有一定冲突，但情感张力适中
潜力素材，需要加工


低戏剧性

冲突弱或偏喜剧向
提取金句或配角素材


2.5 戏剧性候选判定
判定标准: dramatic_score ≥ 6.0

在 280 条样本中，有 133 条 (47.5%) 符合戏剧性候选标准，说明 Reddit 是短剧素材的优质来源。


3. 冲突类型分类法
3.1 分类体系 (16 种)
冲突类型
├── 情感冲突 (Emotional)
│   ├── relationship_crisis      感情危机
│   ├── breakup_drama            分手戏剧
│   ├── trust_issues             信任危机
│   └── communication_breakdown  沟通断裂
├── 家庭冲突 (Family)
│   ├── family_conflict          家庭矛盾
│   ├── inheritance_dispute      遗产纠纷
│   └── wedding_drama            婚礼变故
├── 社会冲突 (Social)
│   ├── workplace_drama          职场斗争
│   ├── social_commentary        社会讽刺
│   └── social_awkwardness       社交尴尬
└── 喜剧元素 (Comedy)
    ├── absurd_situation         荒诞情境
    ├── unexpected_twist         意外反转
    ├── dark_humor               黑色幽默
    ├── observational_humor      观察喜剧
    ├── self_deprecation         自嘲
    └── wordplay                 文字游戏

3.2 类型分布统计


类型
数量
占比
推荐指数


relationship_crisis
38
13.6%
⭐⭐⭐⭐⭐


absurd_situation
37
13.2%
⭐⭐⭐


workplace_drama
25
8.9%
⭐⭐⭐⭐


communication_breakdown
24
8.6%
⭐⭐⭐


dark_humor
18
6.4%
⭐⭐


social_awkwardness
17
6.1%
⭐


family_conflict
16
5.7%
⭐⭐⭐⭐⭐


unexpected_twist
14
5.0%
⭐⭐⭐


wedding_drama
13
4.6%
⭐⭐⭐⭐


trust_issues
13
4.6%
⭐⭐⭐⭐


inheritance_dispute
13
4.6%
⭐⭐⭐⭐


observational_humor
12
4.3%
⭐⭐


breakup_drama
12
4.3%
⭐⭐⭐⭐⭐


wordplay
12
4.3%
⭐


social_commentary
10
3.6%
⭐⭐⭐


self_deprecation
6
2.1%
⭐


4. 短剧素材提取 SOP
4.1 场景设定类型
基于数据分析，常见场景分布：


场景类型
出现频率
典型设定
短剧适配建议


家庭住宅
35%
客厅、餐厅、卧室
家庭伦理剧首选


公共场所
25%
餐厅、咖啡厅、商场
冲突爆发场景


职场环境
20%
办公室、会议室
职场剧、办公室政治


通讯场景
15%
电话、信息、社交媒体
信息不对称、误会


婚礼/庆典
5%
婚礼现场、生日派对
高潮冲突场景


4.2 人物关系模式
核心对立模式:
Protagonist (主角) vs Antagonist (对抗者)
├── 亲密关系
│   ├── 恋人/配偶 (relationship_crisis)
│   ├── 亲子 (family_conflict)
│   └── 兄弟姐妹 (inheritance_dispute)
├── 社会关系
│   ├── 上司-下属 (workplace_drama)
│   ├── 同事 (workplace_drama)
│   └── 朋友 (trust_issues)
└── 陌生人
    ├── 服务提供者 (absurd_situation)
    └── 偶然相遇 (unexpected_twist)


人物角色库 (从数据中提取):


角色
典型行为
常见冲突


boyfriend/girlfriend
控制欲、忽视、背叛
感情危机、信任问题


husband/wife
责任推诿、隐瞒、争吵
婚姻矛盾、离婚危机


mother/father
过度干涉、偏心、期望落差
原生家庭矛盾


sister/brother
攀比、争夺资源、偏心对待
遗产纠纷、家庭不和


boss
压榨、不公正、骚扰
职场斗争


coworker
抢功、背后捅刀、竞争
办公室政治


friend
背叛、借钱不还、两面三刀
信任危机


roommate
生活习惯冲突、财物纠纷
生活摩擦


4.3 金句/对话提取规则
提取标准:


情感强度: 包含强烈情绪词（愤怒、震惊、失望、委屈）
冲突表达: 直接对抗、指责、质问
道德判断: "你应该..."、"你怎么能..."
意外反转: 出人意料的回应
共鸣感: 观众容易产生代入感


高戏剧性金句特征:


特征
示例
适用场景


质问式
"你凭什么这样做？"
冲突爆发


控诉式
"你从来没有考虑过我的感受"
情感宣泄


反转式
"其实我早就知道了"
剧情转折


讽刺式
"真是谢谢你啊"
黑色幽默


决绝式
"我们完了"
关系破裂


提取位置:


帖子标题（AITA 开头通常是冲突焦点）
selftext 中的引号部分
drama_elements.key_quotes 字段
段落开头的陈述句

4.4 素材质量评估 Checklist
## 素材评估清单

### 基础质量
- [ ] 字段完整度 100%（id, title, author, selftext, score等）
- [ ] 内容长度适中（100-2000字）
- [ ] 时间戳在30天内（时效性）

### 戏剧价值
- [ ] dramatic_score ≥ 6.0
- [ ] 有明确的 protagonist 和 antagonist
- [ ] 冲突类型明确且可分类
- [ ] 包含至少 1 个 dramatic_moment
- [ ] 可提取 ≥2 条 key_quotes

### 短剧适配
- [ ] 场景可视觉化（非纯对话/通讯）
- [ ] 冲突在 1-3 分钟内可呈现
- [ ] 有情感高潮点
- [ ] 结局明确或有反转空间


5. 输出标准化格式
5.1 JSON Schema
{
  "$schema": "http://json-schema.org/draft-07/schema#",
  "type": "object",
  "required": ["id", "subreddit", "title", "author", "score", "dramatic_score"],
  "properties": {
    "id": { "type": "string", "pattern": "^t3_[a-z0-9]{6}$" },
    "subreddit": {
      "type": "string",
      "enum": ["AmITheAsshole", "relationship_advice", "funny", "jokes", "StandUpComedy"]
    },
    "title": { "type": "string", "maxLength": 300 },
    "author": { "type": "string", "pattern": "^user_\\d+$" },
    "selftext": { "type": "string" },
    "score": { "type": "integer", "minimum": 0 },
    "upvotes": { "type": "integer", "minimum": 0 },
    "num_comments": { "type": "integer", "minimum": 0 },
    "upvote_ratio": { "type": "number", "minimum": 0, "maximum": 1 },
    "created_utc": { "type": "string", "format": "date-time" },
    "permalink": { "type": "string" },
    "drama_elements": {
      "type": "object",
      "properties": {
        "protagonist": { "type": "string" },
        "antagonist": { "type": "string" },
        "conflict_type": {
          "type": "string",
          "enum": ["family_conflict", "relationship_crisis", "workplace_drama",
                   "trust_issues", "breakup_drama", "communication_breakdown",
                   "absurd_situation", "unexpected_twist", "dark_humor"]
        },
        "key_quotes": {
          "type": "array",
          "items": {
            "type": "object",
            "properties": {
              "text": { "type": "string" },
              "speaker": { "type": "string" },
              "context": { "type": "string" }
            }
          }
        },
        "dramatic_moments": {
          "type": "array",
          "items": {
            "type": "object",
            "properties": {
              "type": { "type": "string", "enum": ["reveal", "confrontation", "twist", "climax"] },
              "description": { "type": "string" },
              "intensity": { "type": "integer", "minimum": 1, "maximum": 10 }
            }
          }
        }
      }
    },
    "dramatic_score": { "type": "number", "minimum": 0, "maximum": 10 },
    "dramatic_level": { "type": "string", "enum": ["high", "medium", "low"] },
    "is_drama_candidate": { "type": "boolean" }
  }
}

5.2 字段枚举值定义


字段
类型
枚举值/范围
说明


subreddit
string
AmITheAsshole, relationship_advice, funny, jokes, StandUpComedy
数据来源


drama_elements.conflict_type
string
见 3.1 节完整列表
冲突分类


dramatic_level
string
high (≥7.0), medium (5.0-7.0), low (
戏剧性等级


dramatic_moments[].type
string
reveal, confrontation, twist, climax
戏剧时刻类型


is_drama_candidate
boolean
true/false
是否适合短剧改编


5.3 数据质量基准
行业平均分: 75 分（基于 4 维度评估）

精英级平均分: 90 分

各维度详细评分标准见 benchmark.md


6. 关键洞察与建议
6.1 数据源优先级
高价值（优先抓取）
├── r/AmITheAsshole     → 戏剧性密度最高
└── r/relationship_advice → 情感素材丰富

中等价值（按需抓取）
├── r/funny             → 喜剧元素补充
└── r/StandUpComedy     → 台词/观察素材

低价值（可选）
└── r/jokes             → 纯文本笑话，戏剧性低

6.2 抓取策略建议

时间窗口: 抓取最近 30 天内的帖子（保证时效性）
排序方式: 优先 top/month，其次 hot
数量配比: AITA:relationship:funny:jokes:StandUp = 30:25:20:15:10
质量过滤: 最低 score ≥ 100, num_comments ≥ 10
去重机制: 基于 title + author 哈希去重

6.3 短剧改编要点

时长控制: 90-180 秒为最佳，需压缩原始故事
冲突前置: 前 10 秒必须展示核心冲突
角色精简: 最多 3 个主要角色，避免观众混乱
金句强化: 将 key_quotes 转化为视觉化台词
结局处理:


高戏剧性 → 开放式/反转结局
中戏剧性 → 和解/教训式结局
低戏剧性 → 搞笑/轻松结局


附录：数据验证脚本
// 验证字段完整度
function validateCompleteness(post) {
  const required = ['id', 'subreddit', 'title', 'author', 'selftext',
                   'score', 'num_comments', 'upvote_ratio', 'created_utc',
                   'permalink', 'drama_elements', 'dramatic_score'];
  return required.every(field => post[field] !== undefined);
}

// 验证戏剧性评分
function validateDramaticScore(post) {
  const level = post.dramatic_score >= 7.0 ? 'high' :
                post.dramatic_score >= 5.0 ? 'medium' : 'low';
  return post.dramatic_level === level;
}

// 验证冲突类型
const VALID_CONFLICTS = ['family_conflict', 'relationship_crisis', 'workplace_drama',
  'trust_issues', 'breakup_drama', 'communication_breakdown', 'inheritance_dispute',
  'wedding_drama', 'absurd_situation', 'social_awkwardness', 'unexpected_twist',
  'wordplay', 'dark_humor', 'observational_humor', 'social_commentary', 'self_deprecation'];


文档版本: v1.0
更新周期: 建议每月根据新数据刷新
维护者: Digester Agent