benchmark_v1.md 9.51 KB

热点分析师能力 Benchmark (benchmark_v1.md)

版本: v1.0 适用 Agent: trend-hunter (热点分析师) 评分维度: 6个 总权重: 100%


评分总览

基准线 分数 说明
通过标准 (pass_score) 90 达到生产部署标准
行业平均 (industry_avg_score) 75 初级人工分析师水平
精英水平 (elite_avg_score) 90 资深分析师+创意策划水平

维度1: 数据覆盖完整性

权重: 20%

评分标准

分数 等级 标准描述
5分 优秀 覆盖4个及以上平台,每个平台Top20+数据,包含原始数据截图/链接
4分 良好 覆盖4个平台,每个平台Top10-20数据,有数据来源标注
3分 及格 覆盖2-3个平台,数据量足够分析,有基本来源说明
2分 较差 仅覆盖1-2个平台,数据量不足
1分 不合格 数据严重缺失或来源不明

Rubric 细则

  • 平台覆盖: 抖音、微博、小红书、快手为必选项,B站/知乎为加分项
  • 数据新鲜度: 数据时间戳应在报告生成前24小时内
  • 数据准确性: 热点名称、热度数值应与官方榜单一致
  • 可追溯性: 每个数据点应有来源链接或截图证据

维度2: 热点分析深度

权重: 25%

评分标准

分数 等级 标准描述
5分 优秀 深入分析热点起源、传播路径、情绪走向,有独到见解和趋势预测
4分 良好 分析热点原因和影响,有数据支撑,能识别关键传播节点
3分 及格 描述热点现象,总结基本特征,有简单的内容分类
2分 较差 仅罗列热点,缺乏分析,或分析流于表面
1分 不合格 无实质性分析内容

Rubric 细则

  • 起源追溯: 能追溯热点的最初来源(哪个平台、哪个账号、什么时间)
  • 传播分析: 能描述热点如何跨平台扩散,识别关键传播节点
  • 情绪识别: 能准确识别用户情绪倾向(正面/负面/争议/中性)及原因
  • 趋势判断: 能预测热点发展趋势(持续/衰减/衍生新话题)
  • 洞察质量: 分析观点有信息增量,不是泛泛而谈

维度3: 短剧化评估准确性

权重: 25%

评分标准

分数 等级 标准描述
5分 优秀 评估全面准确,三维度打分有理有据,能识别潜在改编角度
4分 良好 评估较全面,打分合理,有基本的改编方向建议
3分 及格 有基本评估,但部分维度分析不够深入
2分 较差 评估片面或打分明显不合理
1分 不合格 无评估或评估完全错误

Rubric 细则

故事延展性评估 (1-5分):

  • 是否识别了热点中的人物角色?
  • 是否分析了冲突和转折?
  • 是否判断了故事化难度?
  • 是否提出了具体的故事框架建议?

互动设计空间评估 (1-5分):

  • 是否识别了可设计的互动节点?
  • 是否分析了用户代入感?
  • 是否提出了具体的互动形式建议?
  • 是否考虑了技术实现可行性?

受众匹配度评估 (1-5分):

  • 是否分析了热点受众画像?
  • 是否与短剧目标用户对比?
  • 是否评估了内容调性匹配度?
  • 是否考虑了平台差异?

维度4: 选题建议质量

权重: 15%

评分标准

分数 等级 标准描述
5分 优秀 选题具体、角度新颖、可执行性强,有明确的卖点和差异化定位
4分 良好 选题合理、角度清晰、有基本的执行方向
3分 及格 选题方向正确,但不够具体或创新性不足
2分 较差 选题空泛或与热点关联弱
1分 不合格 无选题建议或建议完全不可行

Rubric 细则

  • 具体性: 选题建议是否具体到可立即执行?
  • 创新性: 角度是否新颖,能避免同质化?
  • 可行性: 考虑制作成本、时效性、技术难度是否可执行?
  • 卖点清晰: 是否明确回答了"观众为什么想看"?
  • 风险提示: 是否识别并提示了潜在风险?

维度5: 时效性把控

权重: 10%

评分标准

分数 等级 标准描述
5分 优秀 精准判断热点阶段,在最佳窗口期给出建议,时效性风险预判准确
4分 良好 正确判断热点阶段,时效性建议合理
3分 及格 有基本的时效性判断,略有滞后但仍有效
2分 较差 时效性判断失误,建议严重滞后或过早
1分 不合格 无时效性分析或分析完全错误

Rubric 细则

  • 阶段识别: 能否准确识别热点处于哪个生命周期阶段?
  • 窗口判断: 能否判断剩余的有效转化窗口?
  • 响应建议: 能否给出针对性的响应速度建议?
  • 风险预警: 能否识别时效性风险并给出预警?

维度6: 报告规范与表达

权重: 5%

评分标准

分数 等级 标准描述
5分 优秀 格式规范、结构清晰、语言精炼、无错别字、数据可视化良好
4分 良好 格式基本规范、结构清晰、语言通顺
3分 及格 格式基本规范,有少量表达问题
2分 较差 格式混乱或表达不清
1分 不合格 格式严重错误或无法理解

Rubric 细则

  • 格式规范: 是否遵循标准报告模板?
  • 结构清晰: 标题、段落、列表使用是否得当?
  • 数据呈现: 表格、数据是否清晰易读?
  • 语言质量: 是否简洁、专业、无口语化表达?
  • 错误检查: 是否有错别字、语法错误、数据错误?

综合评分计算

总分 = Σ(维度得分 × 维度权重)

其中:
- 各维度得分 = 原始分(1-5) × 20  → 转换为百分制
- 权重总和 = 100%

示例:
数据覆盖: 4分 × 20% = 16分
分析深度: 5分 × 25% = 25分
短剧化评估: 4分 × 25% = 20分
选题建议: 4分 × 15% = 12分
时效性: 4分 × 10% = 8分
报告规范: 5分 × 5% = 5分
─────────────────────────────
总分 = 86分

质量分级标准

等级 分数区间 说明 处理建议
S级 95-100 卓越,超出预期 作为标杆案例,推广最佳实践
A级 90-94 优秀,达到生产标准 通过认证,可投入生产使用
B级 80-89 良好,基本可用 小修小补后可投入使用
C级 70-79 及格,需改进 需针对薄弱维度强化训练
D级 60-69 不及格,不可用 需全面返工,重新评估
F级 严重不合格 拒绝使用,需重新训练

评分示例

示例1: 高质量分析报告 (Score: 92)

数据覆盖: 5分 - 覆盖抖音/微博/小红书/快手/B站5个平台,每个平台Top20数据,附带原始截图链接

分析深度: 5分 - 深入分析"职场PUA"话题从豆瓣小组起源,到微博爆发,再到抖音二创的传播路径;识别出"打工人共鸣"和"反权威情绪"两大核心驱动力;预测该话题将衍生出"离职文学"等新子话题

短剧化评估: 4分 - 三维度评分: 故事延展性4分(办公室冲突天然有戏剧性)、互动设计4分(可选择反抗或隐忍)、受众匹配5分(职场人群与短剧用户高度重合);提出"办公室生存游戏"改编角度

选题建议: 5分 - 提出《职场甄嬛传》互动短剧选题,定位为"现代职场版宫斗,你可以选择的复仇方式",明确卖点、目标用户、预期互动效果,提示避免过度负面的风险

时效性: 4分 - 正确判断处于爆发期,建议48小时内产出,提醒避免高峰期同质化竞争

报告规范: 5分 - 格式规范,数据可视化清晰,语言专业精炼

总分: 5×20% + 5×25% + 4×25% + 5×15% + 4×10% + 5×5% = 92分 ✓


示例2: 低质量分析报告 (Score: 58)

数据覆盖: 2分 - 仅覆盖微博热搜Top10,抖音数据缺失,无来源标注

分析深度: 2分 - 仅罗列热点名称和热度,无原因分析,无传播路径描述

短剧化评估: 2分 - 仅有"适合改编"的简单判断,无三维度具体评分,无改编方向建议

选题建议: 1分 - 建议"做一个职场相关的短剧",空泛无具体角度

时效性: 2分 - 未判断热点阶段,无时效性建议

报告规范: 3分 - 基本可读,但格式不统一,有2处错别字

总分: 2×20% + 2×25% + 2×25% + 1×15% + 2×10% + 3×5% = 58分 ✗


Elite vs Average 特征对比

特征维度 Elite (90+) Average (75)
数据获取 主动发现跨平台趋势,不依赖单一数据源 被动等待热点上热搜
分析视角 多维度分析,有前瞻性预测 单一维度描述现象
商业洞察 深度理解短剧商业模式和用户心理 仅表面判断"热不热"
创意转化 能提出差异化、可执行的创意角度 建议常规、同质化
风险意识 主动识别并提示风险 忽视风险
响应速度 在萌芽期就识别并准备 高峰期才跟进

版本历史

版本 日期 变更内容
v1.0 2026-03-26 初始版本,定义6维度评分体系

文档维护: Digester Agent 审核状态: 待 Innovator 审批