benchmark_v1.md
4.32 KB
trend-scout-global Benchmark v1
目标 Agent: trend-scout-global 技能领域: 全球社交媒体趋势监控(TikTok / Instagram Reels / YouTube Shorts / X / Pinterest) 生成时间: 2026-04-13 满分: 100 分 | 目标线: ≥95 分
评分维度
D1 跨平台信息源理解 (Cross-Platform Source Understanding) — 权重 20%
| 分值 | 标准 |
|---|---|
| 10 | 正确识别 TikTok / YouTube / Instagram / X / Pinterest / Google Trends 等来源,platform、region、content_type 与 source_url 完全一致 |
| 8-9 | 1-2 处 minor 平台或 region 映射偏差(如把 YouTube Shorts 写成 YouTube) |
| 6-7 | 多次平台/区域映射错误,或端点与数据模型不匹配 |
| 4-5 | 严重混淆平台来源(如把 Pinterest 标成 Instagram) |
| 0-3 | 平台字段大面积错误或缺失 |
D2 趋势识别与主题提取 (Trend Recognition & Theme Extraction) — 权重 20%
| 分值 | 标准 |
|---|---|
| 10 | 核心 trend name(hashtag / audio / effect / video title)提取精准,IP 主题(billionaire romance / werewolf mate / mafia romance / strong female lead / revenge / vampire love)命中无误,related_hashtags 完整且去重 |
| 8-9 | 1-2 处主题边界近miss 或 minor hashtag 遗漏/重复 |
| 6-7 | 频繁遗漏主题或相关 hashtag 缺失/重复超过 10% |
| 4-5 | 主题随机分配,hashtag 列表大面积错误 |
| 0-3 | 未提取趋势名称或主题 |
D3 数据清洗与结构化 (Data Cleaning & Structuring) — 权重 20%
| 分值 | 标准 |
|---|---|
| 10 | 输出严格符合 schema:trend_id / platform / region / content_type / name / rank / views_or_posts / growth_7d / related_hashtags / source_url / crawl_time;数值类型正确,growth_7d ≥ 0,crawl_time 为 ISO-8601 UTC |
| 8-9 | 1-2 个可选字段缺失或 minor 类型漂移 |
| 6-7 | 必填字段缺失、类型错误或 timestamp 格式不标准 |
| 4-5 | schema 结构混乱,平铺输出或自定义嵌套 |
| 0-3 | 输出为非结构化文本,无法解析 |
D4 热点分级与预测 (Trend Grading & Forecasting) — 权重 15%
| 分值 | 标准 |
|---|---|
| 10 | rank 根据 volume 与 growth 信号一致排序(1+ 整数),对 growth_7d 解读正确:>2.0 标注 breakout, |
| 8-9 | 轻微 rank inversion 或缺少 1 处 growth 方向注释 |
| 6-7 | 多次 rank 与数据矛盾,growth 解读常见错误 |
| 4-5 | rank 随机分配,growth 被错误地当作绝对值处理 |
| 0-3 | 未输出 rank 或 growth 解读 |
D5 报告输出规范 (Report Output Specification) — 权重 15%
| 分值 | 标准 |
|---|---|
| 10 | 报告格式清晰(JSON 数组 / markdown 表格 / 平台摘要),包含各平台 top trends、区域亮点、actionable takeaways;所有 source_url 可溯源 |
| 8-9 | minor 格式问题或缺少 1 类 takeaway |
| 6-7 | 报告可读性差,URL 缺失或 broken |
| 4-5 | 缺少平台摘要或关键 takeaways |
| 0-3 | 无法使用的报告输出 |
D6 异常处理与信源验证 (Exception Handling & Source Verification) — 权重 10%
| 分值 | 标准 |
|---|---|
| 10 | 缺失数据优雅降级(空 related_hashtags → [],未知 region → "UNKNOWN"),低置信度信源明确标记 confidence: low,不 hallucinate metrics,source_url 完整保留 |
| 8-9 | 1 处字段 fallback 缺失或 minor hallucination |
| 6-7 | 多次 hallucination 或 source_url 遗漏 |
| 4-5 | 系统性编造数据,缺失异常处理 |
| 0-3 | 异常时输出崩溃或进入死循环 |
总分计算
Total = D1×0.20 + D2×0.20 + D3×0.20 + D4×0.15 + D5×0.15 + D6×0.10
评级
| 总分 | 评级 | 说明 |
|---|---|---|
| 95-100 | S | 生产级可用 |
| 85-94 | A | 优秀,少量微调 |
| 70-84 | B | 基本可用,有改进空间 |
| 50-69 | C | 不建议投产 |
| D | 不合格 |
自动评分 checklist
- [ ] 必填字段 trend_id / platform / region / content_type / name / rank / views_or_posts / growth_7d / source_url / crawl_time 全部存在?
- [ ]
growth_7d为数值且 ≥ 0? - [ ]
crawl_time格式为 ISO-8601 UTC? - [ ]
platform与source_url域名一致? - [ ]
related_hashtags为数组且无重复? - [ ] 缺失字段有 fallback([] / UNKNOWN / null)而非留空?
- [ ] 低置信度/异常信源有 confidence 标记或降级说明?