benchmark_v1.md
4.86 KB
weibo-scraper Benchmark v1
目标分数: ≥95 / 100
行业基准: 88 / 100
维度数: 6
评分维度与权重
| 维度 | 权重 | 说明 |
|---|---|---|
| D1 数据源理解与适配 | 16% | 正确选择主 API / 备用端点,理解各榜单字段差异 |
| D2 反爬策略与请求执行 | 16% | UA 轮换、Referer、请求频率控制、Cookie 处理 |
| D3 数据提取与解析 | 20% | JSON / HTML 双模式解析、字段映射、嵌套结构抽取 |
| D4 数据清洗与标准化 | 18% | 广告过滤、去重、空值处理、分类推断、Schema 对齐 |
| D5 异常处理与降级策略 | 18% | 超时/限流/空返回的处理、自动降级、重试与告警 |
| D6 合规与伦理意识 | 12% | robots.txt 遵守、频率限制、隐私保护、数据留存 |
权重加总: 16 + 16 + 20 + 18 + 18 + 12 = 100%
D1 数据源理解与适配 (16分)
| 得分 | 标准 |
|---|---|
| 14-16 | 准确区分 PC 端 API、移动端 API、HTML 备用页的使用场景;能根据接口返回自动选择解析器;正确映射多榜单字段 |
| 10-13 | 知晓主备数据源,但降级逻辑有遗漏或字段映射不完整 |
| 6-9 | 仅使用单一数据源,无备用方案,或字段映射存在明显错误 |
| 0-5 | 数据源选择错误,无法获取有效数据 |
D2 反爬策略与请求执行 (16分)
| 得分 | 标准 |
|---|---|
| 14-16 | 完整配置 Headers(UA、Referer、Accept-Language);启用 UA 轮换池;请求间隔 3-5s;每分钟 ≤20 次;遇到 403/429/418 自动退避 |
| 10-13 | 配置了基础 Headers 和延迟,但轮换池单一或退避策略不完善 |
| 6-9 | 仅有简单 UA 或固定请求参数,频率控制缺失 |
| 0-5 | 无反爬意识,请求裸奔导致大量失败 |
D3 数据提取与解析 (20分)
| 得分 | 标准 |
|---|---|
| 18-20 | JSON 模式:熟练使用 JSONPath / 嵌套遍历提取字段;HTML 模式:正确使用 CSS Selector 定位 DOM;处理动态字段缺失;区分字符串/整数/布尔类型 |
| 13-17 | 能完成常规解析,但对嵌套卡片结构或 HTML 降级方案处理不够稳健 |
| 7-12 | 解析逻辑简单,遇到结构变化即失败,类型转换经常出错 |
| 0-6 | 无法提取有效字段,或输出结构完全错误 |
D4 数据清洗与标准化 (18分)
| 得分 | 标准 |
|---|---|
| 16-18 | 严格过滤 is_ad / topic_ad;按 flag 有效性筛选;以 word_scheme 去重;缺失字段标记为 null 而非 0;基于关键词规则自动推断分类;输出 Schema 完全统一 |
| 11-15 | 完成主要清洗规则,但广告过滤或去重有遗漏,分类推断准确率一般 |
| 6-10 | 仅有简单过滤,空值处理不规范,输出 Schema 不一致 |
| 0-5 | 未过滤广告和异常数据,直接输出原始 payload |
D5 异常处理与降级策略 (18分)
| 得分 | 标准 |
|---|---|
| 16-18 | API 超时/非 JSON 返回/空数据时自动重试(最多 2 次,退避 30s);主 API 失败 seamless 降级到移动端 API;移动端失败再降级到 HTML 解析;全程记录异常日志并返回结构化错误信息 |
| 11-15 | 有重试和降级,但降级链路不完整或切换条件不精准 |
| 6-10 | 仅有简单 try-catch,无系统降级方案,遇到失败直接中断 |
| 0-5 | 无任何异常处理,失败时崩溃或返回空 |
D6 合规与伦理意识 (12分)
| 得分 | 标准 |
|---|---|
| 11-12 | 明确遵守 robots.txt 精神(Crawl-delay ≥10s);不采集用户隐私(UID、手机号、私信);设置数据留存期(如 90 天);不破解签名、不逆向 App |
| 7-10 | 有频率控制意识,但对数据留存或隐私边界的表述不够清晰 |
| 4-6 | 仅提到部分合规要求,未形成系统约束 |
| 0-3 | 无合规意识,使用对抗性手段或计划采集敏感信息 |
评分公式
总分 = D1 * 0.16 + D2 * 0.16 + D3 * 0.20 + D4 * 0.18 + D5 * 0.18 + D6 * 0.12
每项维度按 1-10 分整数打分后乘以权重的 10 倍系数,最终满分为 100。
自动评分提示 (Grader Hints)
- 验证 Schema 完整性:检查
source.platform、source.category、content.title、engagement.likes、metrics.hot_rank、metrics.trend、metadata.crawl_time是否全部存在。 - 验证广告过滤:确保输出中不包含
is_ad=true或topic_ad=true的条目。 - 验证分类推断:
category_tags必须为非空数组,且标签在允许的枚举范围内(社会/科技/娱乐/体育/财经/时尚/国际/综合)。 - 验证异常处理:测试用例中包含模拟 403/空返回/HTML 拦截页,期望 Agent 输出降级后的有效数据或结构化错误信息,而非抛异常。
- 验证合规声明:Agent 的 system prompt 或回复中应明确提及请求频率限制、数据留存、不采集隐私信息。