Reddit 短剧内容抓取评估基准

技能名称: reddit-scraper-training 版本: v1.0.0 构建时间: 2026-03-25 构建Agent: Digester 任务编号: T-mn5xbrm3

---

一、评分体系概览

1.1 评估维度

维度	权重	分值范围	核心考察点
数据抓取准确性 (Accuracy)	25%	0-25	帖子完整性、字段提取正确率、数据清洗质量
内容筛选质量 (Filtering)	25%	0-25	高冲突内容识别、低质量内容过滤、NSFW标记
特征提取完整性 (Extraction)	25%	0-25	冲突类型识别、人物关系提取、短剧标签生成
输出格式规范性 (Output)	25%	0-25	JSON Schema合规、字段完整、数据类型正确
总分	100%	0-100	-

1.2 行业基准线

行业平均分 (industry_avg_score): 72
精英平均分 (elite_avg_score): 88

---

二、维度评分标准

2.1 数据抓取准确性 - 25分

分数	等级	描述
5分	卓越	100%帖子完整抓取，所有字段准确，零数据丢失
4分	优秀	>95%完整度，关键字段100%准确
3分	良好	>90%完整度，关键字段>95%准确
2分	及格	>80%完整度，关键字段>90%准确
1分	不足
0分	失败	完全无法抓取数据

关键指标

• 帖子完整性: title, content, score, comments
• 字段提取正确率: author, created_utc, permalink
• 数据清洗质量: 去除HTML标签、标准化格式

2.2 内容筛选质量 - 25分

分数	等级	描述
5分	卓越	精准识别高价值内容，零误判，NSFW100%标记
4分	优秀	>90%高价值内容捕获，
3分	良好	>80%高价值内容捕获，
2分	及格	>70%高价值内容捕获，
1分	不足
0分	失败	无法筛选，随机输出

筛选标准

• 高冲突内容识别: drama_score > 7.0
• 低质量内容过滤: 长度
• NSFW标记: over_18字段检测

2.3 特征提取完整性 - 25分

分数	等级	描述
5分	卓越	所有特征100%提取，冲突分类精准，关系图完整
4分	优秀	>90%特征提取准确率，冲突分类>85%准确
3分	良好	>80%特征提取准确率，冲突分类>75%准确
2分	及格	>70%特征提取准确率，冲突分类>60%准确
1分	不足
0分	失败	无法提取任何特征

提取内容

• 冲突类型: 人际冲突/道德困境/意外事件
• 人物关系: 角色身份、关系类型
• 短剧标签: wedding_drama, family_conflict, betrayal等

2.4 输出格式规范性 - 25分

分数	等级	描述
5分	卓越	100%符合JSON Schema，所有字段类型正确，零验证错误
4分	优秀	>98%合规，轻微格式问题不影响解析
3分	良好	>95%合规，少量字段类型错误
2分	及格	>90%合规，有结构性问题但可修复
1分	不足
0分	失败	完全不符合规范

Schema要求

• 必需字段: id, title, content, subreddit, drama_score
• 数据类型: score(integer), upvote_ratio(float), created_at(timestamp)
• 数组字段: character_relationships, short_drama_categories

---

三、综合评分计算方法

3.1 总分计算

总分 = 准确性×0.25 + 筛选质量×0.25 + 特征提取×0.25 + 格式规范×0.25

3.2 等级划分

总分区间	等级	描述
95-100	S+	卓越，可作为行业标准
90-94	S	精英水平
80-89	A	优秀水平
72-79	B	良好水平，符合行业标准
60-71	C	及格水平，需要改进
50-59	D	不足
0-49	F	失败

---

四、测试用例设计

4.1 测试覆盖矩阵

测试类型	数量	覆盖场景
AITA道德冲突	15条	NTA/YTA/ESH标签，家庭/职场冲突
关系建议	10条	信任危机、出轨、分手
TIFU尴尬喜剧	10条	社交误会、意外事件
funny幽默	5条	综合幽默内容
边界情况	5条	已删除、NSFW、超短内容
总计	45条	-

4.2 关键测试场景

场景1: 高冲突AITA

• 输入: YTA标签，家庭继承纠纷
• 预期: drama_score > 8.0, conflict_type=family_money

场景2: 关系背叛

• 输入: 发现伴侣出轨
• 预期: conflict_type=relationship_deception, adaptation_potential=high

场景3: TIFU尴尬喜剧

• 输入: 社交误会类TIFU
• 预期: drama_score > 8.5, short_drama_categories包含cringe_comedy

场景4: 已删除内容

• 输入: selftext包含"[removed]"
• 预期: 标记为excluded，不进入输出

场景5: NSFW内容

• 输入: over_18=true
• 预期: is_nsfw=true，需要审核标记

---

五、质量检验清单

5.1 评分前检验

• [ ] 理解四大评估维度的定义和边界
• [ ] 确认测试数据集覆盖所有板块
• [ ] 验证JSON Schema定义正确

5.2 评分中检验

• [ ] 各维度评分是否基于可观测的行为/输出
• [ ] 是否避免维度间的交叉影响
• [ ] 是否有明确的评分依据

5.3 评分后检验

• [ ] 总分是否在合理范围(0-100)
• [ ] 各维度分数是否独立变化
• [ ] 测试用例是否覆盖边界情况

---

评估基准版本: v1.0.0 构建时间: 2026-03-25