Reddit 短剧内容抓取评估基准 v2

技能名称: reddit-scraper-v2 版本: v1.0.0 构建时间: 2026-03-25 构建Agent: Digester 任务编号: T-mn5ya7ls

---

一、评分体系概览

1.1 评估维度

维度	权重	分值范围	核心考察点
抓取准确性 (Accuracy)	25%	0-25	字段完整度、数据清洗质量
内容筛选质量 (Filtering)	30%	0-30	戏剧性识别准确率、高价值内容捕获
提取完整性 (Extraction)	25%	0-25	drama_elements字段覆盖、特征提取完整
JSON格式规范性 (Output)	20%	0-20	schema合规度、数据类型正确
总分	100%	0-100	-

1.2 行业基准线

行业平均分 (industry_avg_score): 75
精英平均分 (elite_avg_score): 88

---

二、维度评分标准

2.1 抓取准确性 - 25分

分数	等级	描述
5分	卓越	100%字段完整，数据清洗完美
4分	优秀	>95%完整度
3分	良好	>90%完整度
2分	及格	>80%完整度
1分	不足

字段权重: id(10%), subreddit(10%), title(20%), content(20%), score(15%), num_comments(15%), upvote_ratio(10%)

2.2 内容筛选质量 - 30分

分数	等级	描述
6分	卓越	高戏剧性内容捕获>90%，误判率
5分	优秀	捕获>85%，误判率
4分	良好	捕获>80%，误判率
3分	及格	捕获>70%，误判率
2分	不足	捕获

高戏剧性标准: drama_score ≥ 7.0

2.3 提取完整性 - 25分

分数	等级	描述
5分	卓越	所有特征100%提取，分类精准
4分	优秀	>90%提取准确率
3分	良好	>80%提取准确率
2分	及格	>70%提取准确率
1分	不足

2.4 JSON格式规范性 - 20分

分数	等级	描述
4分	卓越	100%符合Schema
3分	优秀	>98%合规
2分	良好	>95%合规
1分	及格	>90%合规

---

三、等级划分

总分区间	等级	描述
95-100	S+	卓越，行业标准
90-94	S	精英水平
80-89	A	优秀水平
75-79	B	良好，符合行业标准
60-74	C	及格，需改进
50-59	D	不足
0-49	F	失败

---

四、测试用例设计

4.1 测试覆盖

类型	数量	说明
高戏剧性(≥7.0)	4	继承纠纷、关系危机等
中戏剧性(5.0-7.0)	3	一般冲突
低戏剧性(	3	轻微冲突或 humor

4.2 关键测试场景

场景1: 高冲突继承纠纷

• 输入: inheritance_family类型，高score/comment
• 预期: drama_score ≥ 8.0, adaptation_potential=high

场景2: 低冲突幽默内容

• 输入: funny板块，高upvote_ratio
• 预期: drama_score

场景3: 已删除内容

• 输入: content包含"[removed]"
• 预期: 标记exclude，data_quality_score降低

场景4: 字段缺失

• 输入: 缺少num_comments或upvote_ratio
• 预期: 完整性扣分，但基础功能正常

---

评估基准版本: v1.0.0 构建时间: 2026-03-25