benchmark_v1.md
7.49 KB
Reddit Scraper Benchmark v1
Agent: reddit-scraper Phase: Digest (Phase 2) 评估维度: 6 | 满分: 100 | 目标线: ≥ 95
1. 评估维度总览
| 维度 | 满分 | 权重 | 说明 |
|---|---|---|---|
| 数据准确性 | 100 | 20% | Reddit API / HTML / RSS 数据抓取与字段映射的准确性,含端点、必填字段、数据映射 |
| 反爬策略 | 100 | 20% | 请求频率控制、UA 轮换、降级与重试机制的健壮性 |
| Schema 标准化 | 100 | 15% | 输出数据结构严格符合 agent.md 定义的 schema,字段完整且一致 |
| 数据清洗与过滤 | 100 | 15% | 去重、NSFW/低质量/删除内容过滤、阈值裁剪、内容完整性保证 |
| 戏剧性内容提取 | 100 | 20% | drama_score 计算、conflict_type 映射、戏剧性标签与下游脚本价值提取 |
| 合规与伦理 | 100 | 10% | 遵守 robots.txt 精神、频率限制、隐私与内容安全规范 |
| 总分 | 100 | 100% | 加权计算,目标线 ≥ 95 |
2. 维度 1:数据准确性 (20%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| API 端点正确性 | 30 | 正确调用 reddit.com/r/{subreddit}/{sort}.json;搜索使用 restrict_sr=1;评论使用 /comments/{post_id}.json;支持 after 分页与 time 参数组合 |
| 字段提取完整率 | 40 | 必填字段 (post_id, title, score, source_url, crawl_time) 100% 存在且非空;评论字段 (comment_id, author, body, score, parent_id) 完整 |
| 数据映射准确性 | 30 | permalink → source_url,score → engagement.score,num_comments → engagement.num_comments,created_utc 时间戳正确,单位无误 |
减分项
- 端点拼写错误或漏传必要参数(如
limit、after、restrict_sr): -10 ~ -30 - 字段映射错误(如把
score当成upvotes): -15 ~ -40 - RSS/HTML 提取遗漏核心字段且未标注说明: -5 ~ -20
3. 维度 2:反爬策略 (20%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| 请求频率控制 | 35 | 单 IP 请求间隔 ≥ 2 秒,无突发请求(>20 次/分钟),具备随机 jitter (2–5s) |
| 请求头伪装 | 30 | 使用真实浏览器 User-Agent 并轮换(≥2 条),包含 Accept: application/json,必要时模拟完整 Headers |
| 降级与重试 | 35 | 遇到 429/403/503 时执行指数退避重试(2s → 5s → 15s,最多 3 次);JSON API 不可用时降级到 old.reddit.com HTML 或 RSS |
减分项
- 无请求延迟或延迟
- 单一 UA 未轮换: -10 ~ -30
- 未处理 429/403 直接失败: -15 ~ -35
- 无降级策略或降级链路不完整: -10 ~ -20
4. 维度 3:Schema 标准化 (15%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| 结构一致性 | 40 | 所有输出记录使用统一嵌套结构:source, content, engagement,且字段层级正确;评论以数组形式存在于 comments 字段 |
| 字段命名规范 | 35 | 严格使用英文 snake_case,与 agent.md 输出 schema 完全一致(如 post_id, subreddit, upvote_ratio) |
| 可空与默认值 | 25 | 缺失字段使用 null 而非空字符串或缺失;awards 缺失默认 0;upvote_ratio 缺失默认 null;link_post 标记规范 |
减分项
- 结构层级混乱或字段拼写错误: -10 ~ -40
- 未使用 snake_case 或与 schema 定义冲突: -10 ~ -35
- 缺失字段未正确处理(导致下游解析失败): -5 ~ -25
5. 维度 4:数据清洗与过滤 (15%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| 基础过滤 | 35 | 按 min_score 过滤生效;is_nsfw=True 被剔除(除非显式允许);[deleted] / [removed] 作者与正文被移除 |
| 去重 | 30 | 以 post_id 为唯一键去重,重复记录仅保留第一条有效数据 |
| 内容完整性 | 35 | title 不能为空;selftext 为空时标记为 link_post 并保留 url;单次采集输出有效记录数 ≥ 需求量的 80% |
减分项
- 未按
min_score/exclude_nsfw过滤: -10 ~ -35 - 存在重复
post_id: -10 ~ -30 - 空标题或缺失 body 未正确标记为
link_post: -10 ~ -35
6. 维度 5:戏剧性内容提取 (20%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| Drama Score 计算 | 40 | 正确应用公式:base_drama + comment_density + conflict_bonus,结果限定在 0–100 之间,计算可复现 |
| Conflict Type 映射 | 35 | 基于子版块和关键词正确映射枚举值:AITA → moral_dilemma;relationship_advice → betrayal/trust_issue;funny → observational_humor/absurdist |
| 标签与潜在脚本价值 | 25 | 输出 drama_tags 数组、hook_strength (0–10)、viral_elements 标签等下游脚本可用字段 |
减分项
- drama_score 计算逻辑错误或结果超出 0–100: -15 ~ -40
- conflict_type 映射明显错误(如 funny 映射为
betrayal): -10 ~ -35 - 任务参数要求计算
drama_score但未输出戏剧性相关字段: -10 ~ -25
7. 维度 6:合规与伦理 (10%)
评分细则
| 子项 | 分值 | 评分标准 |
|---|---|---|
| 平台合规 | 40 | 遵守 Reddit robots.txt / Crawl-delay 精神,控制频率不造成服务器压力;不绕过登录墙抓取非公开内容 |
| 隐私保护 | 30 | 不采集私信、真实身份信息、精确地理位置;对个人信息做去标识化处理 |
| 内容安全 | 30 | 对涉及自杀、自残、暴力的内容增加安全审核标记或过滤,不适合直接作为娱乐素材输出 |
减分项
- 高频请求对目标服务器造成明显压力(如 >30 次/分钟且无退避): -15 ~ -40
- 采集非公开内容或用户隐私信息: -30(一票否决)
- 未对高风险内容做安全处理: -10 ~ -30
8. 总分计算方式
总分 = 维度1 * 0.20
+ 维度2 * 0.20
+ 维度3 * 0.15
+ 维度4 * 0.15
+ 维度5 * 0.20
+ 维度6 * 0.10
- 优秀: 95–100 分(目标线,可进入下游生产使用)
- 良好: 85–94 分(需小幅度修正)
- 及格: 70–84 分(存在明显缺陷,需返工)
- 不及格:
9. 与 train/test 数据集的关联
train.jsonl和test.jsonl中的每条记录均包含dimensions和score。- grader 在评估模型输出时,应参照本标准进行逐项打分。
grader_hints提供了该样本的关注检查点,供自动化或人工评分时聚焦重点。
10. 快速检查清单 (Quick Checklist)
- [ ] 使用
https://www.reddit.com/r/{subreddit}/hot.json(或等价 sort) 并携带正确 headers - [ ] 包含
after分页逻辑与time参数的正确组合 - [ ] 轮换真实浏览器 User-Agent 字符串
- [ ] 执行 ≥ 2s 延迟且 ≤ 20 req/min
- [ ] 遇到 429/403 时指数退避重试,失败后再降级到 old.reddit / RSS
- [ ] 提取所有必填字段到统一 schema
- [ ] 过滤 NSFW、
[deleted]/[removed]、低于 min_score 的帖子 - [ ] 按
post_id去重 - [ ] 空
selftext正确标记为link_post并保留外部url - [ ] 评论树映射正确,含
comment_id、parent_id、score - [ ] 计算
drama_score与conflict_type并限定在合理范围 - [ ] 遵守平台 ToS 与登录墙边界
- [ ] 对高风险内容进行安全过滤或标记
由 Digester Agent 生成 | 验收标准: 6 维度完整对齐 knowhow_v1.md ✅ | 满分 100 目标线 ≥95 ✅