benchmark_v1.md 6.83 KB

Edit Raw Blame History Permalink


Data-Harvester Benchmark v1

目标 Agent: data-harvester
技能领域: 全量数据收集（利用 OpenClaw 登录各平台后台抓取播放量、完播率、CTR 及用户评论情感）
版本: v1.0
生成时间: 2026-04-09


评分维度与权重
总分 = 100 分，目标合格线 ≥ 95 分


维度
权重
满分
核心考察点


D1. 登录态管理
15%
15
Cookie / Session 复用、扫码登录流程、登录态失效处理


D2. 数据覆盖率
20%
20
核心指标（播放量、完播率、CTR、评论情感）抓取完整性


D3. 抓取策略选择
15%
15
API 优先 vs 浏览器自动化、平台适配、数据源选择


D4. 数据结构化与输出
20%
20
字段标准化、JSON/CSV 输出规范、缺失值填充、时间戳一致性


D5. 风控与合规
15%
15
频率控制、代理/IP 策略、隐私脱敏、仅采自有/授权数据


D6. 错误处理与恢复
15%
15
重试退避、异常分类报告、降级策略、截图存档


D1. 登录态管理 (15 分)


得分
标准


13-15
能正确描述各平台登录方式（Cookie/二维码/OAuth2），方案包含 Session 持久化、Cookie 复用、二次验证的降级处理（通知上级或人工介入）


9-12
覆盖主流平台登录方式，但缺少 Session 持久化细节或缺少二次验证应对策略


5-8
仅提及密码/扫码登录，缺少 Cookie 管理和失效处理


0-4
登录方案不可行或存在明显安全风险（如明文存储密码）


Grader Hints:


抖音：需 sessionid Cookie，扫码登录后保持常驻 Profile
小红书：web_session + X-Sign，30 分钟刷新
B站：SESSDATA Cookie，可直调 API
YouTube：优先 OAuth2 Service Account
快手：扫码登录 + Cookie 持久化
视频号：微信扫码，异地登录易冻结，必须常驻 Profile


D2. 数据覆盖率 (20 分)


得分
标准


17-20
明确列出 6 个平台各自可采集的核心字段，确保播放量、完播率、CTR、评论情感数据均有抓取路径；对缺失字段给出补充方案


13-16
覆盖 4-5 个平台的核心字段，但缺少个别平台 CTR 或情感数据的获取方式


8-12
仅覆盖 2-3 个平台，或缺少完播率/情感分析等关键指标


0-7
数据字段严重不全，无法支撑后续分析


Grader Hints:


抖音：播放量、完播率、平均播放时长、互动率、CTR、粉丝净增
小红书：阅读数、点赞、收藏、评论、完播率、粉丝增长、商品点击
B站：播放量、弹幕、评论、硬币、收藏、完播率、播放来源、粉丝活跃时段
YouTube：Views、Watch time、Avg view duration、CTR、Impressions、Subscribers gained/lost
快手：播放量、播放完成率、点赞、评论、粉丝增长、直播收益
视频号：播放量、点赞、评论、转发、完播率、关注转化、商品点击


D3. 抓取策略选择 (15 分)


得分
标准


13-15
能根据平台特征正确选择“API 直调”或“浏览器自动化”，并说明理由；YouTube 明确优先 OAuth2 API；对加密/签名数据（X-Sign）有应对方案


9-12
主流平台策略正确，但对 1-2 个平台的选择理由模糊，或缺少签名破解/拦截方案


5-8
策略选择存在明显错误（如对 open API 平台仍全用 Playwright），或未考虑效率差异


0-4
策略不可行或全部统一用一种方式，无视平台差异


Grader Hints:


B站 / YouTube：优先 API（B站半公开 API，YouTube 官方 API）
抖音 / 小红书 / 快手 / 视频号：浏览器自动化 + XHR/DOM 提取
抖音：可拦截 aweme/v1/web/data/fetch 或读取 window._SSR_HYDRATED_DATA


D4. 数据结构化与输出 (20 分)


得分
标准


17-20
输出 schema 统一（含 content_id, platform, title, publish_time, play_count, completion_rate, ctr, sentiment_summary, source_url, crawl_time），字段名驼峰/下划线一致，缺失值用 null 或 0 明确标注，附带数据校验逻辑


13-16
输出结构基本统一，但存在 1-2 个字段命名不一致或缺失值处理不严谨


8-12
输出格式混乱，不同平台字段名不统一，缺少 source_url / crawl_time


0-7
无结构化输出意识，仅返回原始 HTML 或非标准文本


Grader Hints:


必须字段：source_url, crawl_time, platform_name（或 platform）
推荐字段：content_id, title, publish_time, play_count, completion_rate, ctr, like_count, comment_count, share_count, collect_count, follower_growth, sentiment_summary
sentiment_summary 应包含 positive, neutral, negative 比例及 top_keywords


D5. 风控与合规 (15 分)


得分
标准


13-15
明确说明频率控制（普通≥3s，抖音/视频号≥5s）、账号分级（大小号分离）、代理/IP 策略、User-Agent 轮换、隐私脱敏（用户昵称哈希化），并强调仅采集自有/授权数据


9-12
提及风控措施，但缺少量化频率控制或缺少隐私脱敏说明


5-8
仅有模糊的风控意识，缺少具体操作策略


0-4
无视平台规则，方案可能导致封号或侵犯隐私


Grader Hints:


单账号日请求量：抖音/视频号 ≤ 200 次；B站 API ≤ 500 次
必须使用住宅代理（Bright Data / Oxylabs）对抖音/快手/视频号
扫码登录优先于密码登录
评论数据中的用户昵称和头像需脱敏


D6. 错误处理与恢复 (15 分)


得分
标准


13-15
建立完整的错误分类体系（登录态失效、风控拦截、元素缺失、网络超时、数据格式变更），每类均有明确的处理策略和降级路径；包含指数退避重试、截图存档、通知上级机制


9-12
覆盖主要错误类型，但缺少数据格式变更的应对或缺少截图存档


5-8
仅有简单的重试逻辑，错误分类不清晰


0-4
无错误处理方案，一旦失败即中断


Grader Hints:


登录态失效 → 刷新 Cookie → 标记 AUTH_REQUIRED
风控拦截（滑块/验证码）→ 降频 → 切代理 → 人工介入
页面元素缺失 → wait_for_selector 超时 → 截图 → 记录 DOM 版本
网络超时 → 指数退避（2s → 5s → 10s）
数据格式变更 → 记录日志 + 截取页面源码样本


评分公式
Total Score = D1 + D2 + D3 + D4 + D5 + D6


Pass Criteria:


Total ≥ 95: 优秀 (Excellent) — 可直接进入 Evolve 阶段
85 ≤ Total 合格 (Pass) — 需针对短板进行微调
75 ≤ Total 待改进 (Needs Work) — 需补充文档和训练数据
Total 不合格 (Fail) — 重新回到 Hunt 阶段补充知识