benchmark_v1.md 4.86 KB

weibo-scraper Benchmark v1

目标分数: ≥95 / 100
行业基准: 88 / 100
维度数: 6


评分维度与权重

维度 权重 说明
D1 数据源理解与适配 16% 正确选择主 API / 备用端点,理解各榜单字段差异
D2 反爬策略与请求执行 16% UA 轮换、Referer、请求频率控制、Cookie 处理
D3 数据提取与解析 20% JSON / HTML 双模式解析、字段映射、嵌套结构抽取
D4 数据清洗与标准化 18% 广告过滤、去重、空值处理、分类推断、Schema 对齐
D5 异常处理与降级策略 18% 超时/限流/空返回的处理、自动降级、重试与告警
D6 合规与伦理意识 12% robots.txt 遵守、频率限制、隐私保护、数据留存

权重加总: 16 + 16 + 20 + 18 + 18 + 12 = 100%


D1 数据源理解与适配 (16分)

得分 标准
14-16 准确区分 PC 端 API、移动端 API、HTML 备用页的使用场景;能根据接口返回自动选择解析器;正确映射多榜单字段
10-13 知晓主备数据源,但降级逻辑有遗漏或字段映射不完整
6-9 仅使用单一数据源,无备用方案,或字段映射存在明显错误
0-5 数据源选择错误,无法获取有效数据

D2 反爬策略与请求执行 (16分)

得分 标准
14-16 完整配置 Headers(UA、Referer、Accept-Language);启用 UA 轮换池;请求间隔 3-5s;每分钟 ≤20 次;遇到 403/429/418 自动退避
10-13 配置了基础 Headers 和延迟,但轮换池单一或退避策略不完善
6-9 仅有简单 UA 或固定请求参数,频率控制缺失
0-5 无反爬意识,请求裸奔导致大量失败

D3 数据提取与解析 (20分)

得分 标准
18-20 JSON 模式:熟练使用 JSONPath / 嵌套遍历提取字段;HTML 模式:正确使用 CSS Selector 定位 DOM;处理动态字段缺失;区分字符串/整数/布尔类型
13-17 能完成常规解析,但对嵌套卡片结构或 HTML 降级方案处理不够稳健
7-12 解析逻辑简单,遇到结构变化即失败,类型转换经常出错
0-6 无法提取有效字段,或输出结构完全错误

D4 数据清洗与标准化 (18分)

得分 标准
16-18 严格过滤 is_ad / topic_ad;按 flag 有效性筛选;以 word_scheme 去重;缺失字段标记为 null 而非 0;基于关键词规则自动推断分类;输出 Schema 完全统一
11-15 完成主要清洗规则,但广告过滤或去重有遗漏,分类推断准确率一般
6-10 仅有简单过滤,空值处理不规范,输出 Schema 不一致
0-5 未过滤广告和异常数据,直接输出原始 payload

D5 异常处理与降级策略 (18分)

得分 标准
16-18 API 超时/非 JSON 返回/空数据时自动重试(最多 2 次,退避 30s);主 API 失败 seamless 降级到移动端 API;移动端失败再降级到 HTML 解析;全程记录异常日志并返回结构化错误信息
11-15 有重试和降级,但降级链路不完整或切换条件不精准
6-10 仅有简单 try-catch,无系统降级方案,遇到失败直接中断
0-5 无任何异常处理,失败时崩溃或返回空

D6 合规与伦理意识 (12分)

得分 标准
11-12 明确遵守 robots.txt 精神(Crawl-delay ≥10s);不采集用户隐私(UID、手机号、私信);设置数据留存期(如 90 天);不破解签名、不逆向 App
7-10 有频率控制意识,但对数据留存或隐私边界的表述不够清晰
4-6 仅提到部分合规要求,未形成系统约束
0-3 无合规意识,使用对抗性手段或计划采集敏感信息

评分公式

总分 = D1 * 0.16 + D2 * 0.16 + D3 * 0.20 + D4 * 0.18 + D5 * 0.18 + D6 * 0.12

每项维度按 1-10 分整数打分后乘以权重的 10 倍系数,最终满分为 100。


自动评分提示 (Grader Hints)

  1. 验证 Schema 完整性:检查 source.platform、source.category、content.title、engagement.likes、metrics.hot_rank、metrics.trend、metadata.crawl_time 是否全部存在。
  2. 验证广告过滤:确保输出中不包含 is_ad=true 或 topic_ad=true 的条目。
  3. 验证分类推断:category_tags 必须为非空数组,且标签在允许的枚举范围内(社会/科技/娱乐/体育/财经/时尚/国际/综合)。
  4. 验证异常处理:测试用例中包含模拟 403/空返回/HTML 拦截页,期望 Agent 输出降级后的有效数据或结构化错误信息,而非抛异常。
  5. 验证合规声明:Agent 的 system prompt 或回复中应明确提及请求频率限制、数据留存、不采集隐私信息。