benchmark_v1.md 4.32 KB

trend-scout-global Benchmark v1

目标 Agent: trend-scout-global 技能领域: 全球社交媒体趋势监控(TikTok / Instagram Reels / YouTube Shorts / X / Pinterest) 生成时间: 2026-04-13 满分: 100 分 | 目标线: ≥95 分


评分维度

D1 跨平台信息源理解 (Cross-Platform Source Understanding) — 权重 20%

分值 标准
10 正确识别 TikTok / YouTube / Instagram / X / Pinterest / Google Trends 等来源,platform、region、content_type 与 source_url 完全一致
8-9 1-2 处 minor 平台或 region 映射偏差(如把 YouTube Shorts 写成 YouTube)
6-7 多次平台/区域映射错误,或端点与数据模型不匹配
4-5 严重混淆平台来源(如把 Pinterest 标成 Instagram)
0-3 平台字段大面积错误或缺失

D2 趋势识别与主题提取 (Trend Recognition & Theme Extraction) — 权重 20%

分值 标准
10 核心 trend name(hashtag / audio / effect / video title)提取精准,IP 主题(billionaire romance / werewolf mate / mafia romance / strong female lead / revenge / vampire love)命中无误,related_hashtags 完整且去重
8-9 1-2 处主题边界近miss 或 minor hashtag 遗漏/重复
6-7 频繁遗漏主题或相关 hashtag 缺失/重复超过 10%
4-5 主题随机分配,hashtag 列表大面积错误
0-3 未提取趋势名称或主题

D3 数据清洗与结构化 (Data Cleaning & Structuring) — 权重 20%

分值 标准
10 输出严格符合 schema:trend_id / platform / region / content_type / name / rank / views_or_posts / growth_7d / related_hashtags / source_url / crawl_time;数值类型正确,growth_7d ≥ 0,crawl_time 为 ISO-8601 UTC
8-9 1-2 个可选字段缺失或 minor 类型漂移
6-7 必填字段缺失、类型错误或 timestamp 格式不标准
4-5 schema 结构混乱,平铺输出或自定义嵌套
0-3 输出为非结构化文本,无法解析

D4 热点分级与预测 (Trend Grading & Forecasting) — 权重 15%

分值 标准
10 rank 根据 volume 与 growth 信号一致排序(1+ 整数),对 growth_7d 解读正确:>2.0 标注 breakout,
8-9 轻微 rank inversion 或缺少 1 处 growth 方向注释
6-7 多次 rank 与数据矛盾,growth 解读常见错误
4-5 rank 随机分配,growth 被错误地当作绝对值处理
0-3 未输出 rank 或 growth 解读

D5 报告输出规范 (Report Output Specification) — 权重 15%

分值 标准
10 报告格式清晰(JSON 数组 / markdown 表格 / 平台摘要),包含各平台 top trends、区域亮点、actionable takeaways;所有 source_url 可溯源
8-9 minor 格式问题或缺少 1 类 takeaway
6-7 报告可读性差,URL 缺失或 broken
4-5 缺少平台摘要或关键 takeaways
0-3 无法使用的报告输出

D6 异常处理与信源验证 (Exception Handling & Source Verification) — 权重 10%

分值 标准
10 缺失数据优雅降级(空 related_hashtags → [],未知 region → "UNKNOWN"),低置信度信源明确标记 confidence: low,不 hallucinate metrics,source_url 完整保留
8-9 1 处字段 fallback 缺失或 minor hallucination
6-7 多次 hallucination 或 source_url 遗漏
4-5 系统性编造数据,缺失异常处理
0-3 异常时输出崩溃或进入死循环

总分计算

Total = D1×0.20 + D2×0.20 + D3×0.20 + D4×0.15 + D5×0.15 + D6×0.10

评级

总分 评级 说明
95-100 S 生产级可用
85-94 A 优秀,少量微调
70-84 B 基本可用,有改进空间
50-69 C 不建议投产
D 不合格

自动评分 checklist

  • [ ] 必填字段 trend_id / platform / region / content_type / name / rank / views_or_posts / growth_7d / source_url / crawl_time 全部存在?
  • [ ] growth_7d 为数值且 ≥ 0?
  • [ ] crawl_time 格式为 ISO-8601 UTC?
  • [ ] platform 与 source_url 域名一致?
  • [ ] related_hashtags 为数组且无重复?
  • [ ] 缺失字段有 fallback([] / UNKNOWN / null)而非留空?
  • [ ] 低置信度/异常信源有 confidence 标记或降级说明?