benchmark.md
11 KB
热点分析师技能 - Benchmark 标准
目标 Agent: trend-hunter (热点分析师) Benchmark 版本: v1.0 创建日期: 2026-03-26 通过阈值: 90/100 (行业平均参考: 75)
1. 评估维度定义
维度 1: 热点监控 (25分)
定义: 能够准确、及时地识别和采集多平台热点数据
评分标准: | 分数 | 标准 | 说明 | |------|------|------| | 25 | 完美 | 覆盖所有目标平台，数据完整准确，响应及时 | | 20 | 优秀 | 覆盖主要平台，数据完整，偶有延迟 | | 15 | 良好 | 覆盖主要平台，部分数据缺失 | | 10 | 及格 | 覆盖部分平台，数据不完整 | | 0-5 | 不及格 | 平台覆盖不足，数据质量差 |
评估要点:
- [ ] 是否正确识别热点平台 (抖音/微博/小红书/快手)
- [ ] 数据字段是否完整 (标题/热度/排名/标签)
- [ ] 响应速度是否符合要求 (
- [ ] 数据准确性是否达标 (> 95%)
维度 2: 内容分析 (25分)
定义: 能够对热点进行深度分析，提取关键特征
评分标准: | 分数 | 标准 | 说明 | |------|------|------| | 25 | 完美 | 分析全面深入，洞察准确，逻辑清晰 | | 20 | 优秀 | 分析较全面，洞察合理，偶有遗漏 | | 15 | 良好 | 基本维度都有涉及，分析深度一般 | | 10 | 及格 | 仅覆盖基础维度，缺乏深度 | | 0-5 | 不及格 | 分析片面或错误 |
评估要点:
- [ ] 话题类型识别是否准确
- [ ] 情绪倾向分析是否合理
- [ ] 传播阶段判断是否正确
- [ ] 受众画像推断是否有依据
- [ ] 关联话题分析是否到位
维度 3: 选题建议 (25分)
定义: 能够基于热点生成立项级别的选题建议
评分标准: | 分数 | 标准 | 说明 | |------|------|------| | 25 | 完美 | 选题有创意，角度新颖，可行性强，爆款潜力大 | | 20 | 优秀 | 选题合理，有吸引力，有执行价值 | | 15 | 良好 | 选题基本可用，创意一般 | | 10 | 及格 | 选题勉强可用，缺乏亮点 | | 0-5 | 不及格 | 选题不可用或风险过高 |
评估要点:
- [ ] 短剧化评估是否合理 (冲突/情感/新鲜度/可持续性/改编难度)
- [ ] 选题角度是否多样 (直接改编/情感切入/反套路)
- [ ] 风险评估是否全面 (版权/敏感/争议)
- [ ] 推荐等级是否准确 (强烈/建议/观望/放弃)
维度 4: 报告输出 (25分)
定义: 能够生成结构化、专业级的分析报告
评分标准: | 分数 | 标准 | 说明 | |------|------|------| | 25 | 完美 | 报告结构完整，数据详实，逻辑清晰，可读性强 | | 20 | 优秀 | 报告完整，数据支撑，表达清晰 | | 15 | 良好 | 报告基本完整，有少量瑕疵 | | 10 | 及格 | 报告结构不完整，数据支撑不足 | | 0-5 | 不及格 | 报告质量差，无法使用 |
评估要点:
- [ ] 报告结构是否完整 (热点信息/数据分析/评估/建议)
- [ ] 数据是否详实准确
- [ ] 结论是否有逻辑支撑
- [ ] 表达是否简洁清晰
- [ ] 格式是否规范统一
2. 测试数据集
2.1 Good Test Cases (高质量参考)
Test Case 1: A级热点 - 社会争议事件
输入:
{
"title": "女子地铁内拒让座被老人辱骂",
"platform": "weibo",
"rank": 1,
"heat_value": 9850000,
"heat_trend": "rising",
"tags": ["社会", "道德", "公共交通"],
"discovered_at": "2026-03-26T08:30:00Z"
}
期望输出 (Good):
{
"report_id": "TR-20260326-001",
"hotspot_id": "HS-20260326-001",
"priority": "P0",
"rating": "A",
"total_score": 435,
"dimensions": {
"conflict_score": 95,
"emotion_score": 90,
"novelty_score": 75,
"sustainability_score": 85,
"adaptation_score": 90
},
"analysis": {
"topic_type": "社会争议/道德困境",
"sentiment": "负面/争议",
"lifecycle": "爆发期",
"audience": "25-45岁都市人群",
"key_elements": ["代际冲突", "道德绑架", "公共空间规则"]
},
"story_angles": [
{
"angle_id": 1,
"name": "直接改编",
"synopsis": "职场白领女主在地铁遭遇道德绑架，反击后引发网络热议，探讨现代社会的道德边界",
"recommended_genre": "都市社会"
},
{
"angle_id": 2,
"name": "情感切入",
"synopsis": "从老人视角切入，讲述一个孤独老人在城市中的生存困境，引发共情",
"recommended_genre": "温情治愈"
},
{
"angle_id": 3,
"name": "反套路",
"synopsis": "女主是心理学专家，通过直播剖析事件，引导公众理性讨论",
"recommended_genre": "职场精英"
}
],
"risk_assessment": {
"copyright_risk": "low",
"sensitive_risk": "medium",
"controversial_risk": "high"
},
"recommendation": "强烈",
"reasoning": "高冲突性+强情感共鸣+高讨论度，短剧化潜力极高。建议采用反套路角度，避免直接涉及争议"
}
Test Case 2: B级热点 - 娱乐话题
输入:
{
"title": "某明星婚礼现场曝光",
"platform": "douyin",
"rank": 3,
"heat_value": 5234000,
"heat_trend": "stable",
"tags": ["娱乐", "明星", "婚礼"],
"discovered_at": "2026-03-26T10:00:00Z"
}
期望输出 (Good):
{
"report_id": "TR-20260326-002",
"hotspot_id": "HS-20260326-002",
"priority": "P1",
"rating": "B",
"total_score": 340,
"dimensions": {
"conflict_score": 60,
"emotion_score": 85,
"novelty_score": 70,
"sustainability_score": 65,
"adaptation_score": 60
},
"analysis": {
"topic_type": "娱乐八卦",
"sentiment": "正面",
"lifecycle": "高峰期",
"audience": "18-35岁女性用户",
"key_elements": ["浪漫", "明星效应", "婚礼"]
},
"story_angles": [
{
"angle_id": 1,
"name": "直接改编",
"synopsis": "普通女孩与顶流明星的闪婚故事，聚焦婚礼前后的甜蜜与挑战",
"recommended_genre": "甜宠 romance"
},
{
"angle_id": 2,
"name": "情感切入",
"synopsis": "婚礼策划师视角，讲述为明星策划婚礼过程中的感人故事",
"recommended_genre": "职场励志"
},
{
"angle_id": 3,
"name": "反套路",
"synopsis": "婚礼是商业炒作，男女主假戏真做的反套路故事",
"recommended_genre": "娱乐圈"
}
],
"risk_assessment": {
"copyright_risk": "medium",
"sensitive_risk": "low",
"controversial_risk": "low"
},
"recommendation": "建议",
"reasoning": "娱乐话题热度高但可持续性一般，短剧化角度较多。注意避免直接使用明星形象"
}
Test Case 3: C级热点 - 知识科普
输入:
{
"title": "科学家发现新型节能材料",
"platform": "zhihu",
"rank": 15,
"heat_value": 890000,
"heat_trend": "falling",
"tags": ["科技", "环保", "科普"],
"discovered_at": "2026-03-26T06:00:00Z"
}
期望输出 (Good):
{
"report_id": "TR-20260326-003",
"hotspot_id": "HS-20260326-003",
"priority": "P2",
"rating": "C",
"total_score": 220,
"dimensions": {
"conflict_score": 40,
"emotion_score": 50,
"novelty_score": 80,
"sustainability_score": 40,
"adaptation_score": 70
},
"analysis": {
"topic_type": "科技科普",
"sentiment": "中性",
"lifecycle": "衰退期",
"audience": "科技爱好者",
"key_elements": ["科技创新", "环保", "未来生活"]
},
"story_angles": [
{
"angle_id": 1,
"name": "直接改编",
"synopsis": "科学家团队研发新材料的励志故事",
"recommended_genre": "职场励志"
}
],
"risk_assessment": {
"copyright_risk": "low",
"sensitive_risk": "low",
"controversial_risk": "low"
},
"recommendation": "观望",
"reasoning": "科技话题缺乏冲突性和情感共鸣，短剧化难度大。可作为背景素材参考"
}
2.2 Bad Test Cases (负面示例)
Test Case 4: D级热点 - 政治敏感
输入:
{
"title": "某地区政治事件",
"platform": "weibo",
"rank": 2,
"heat_value": 12000000,
"heat_trend": "rising",
"tags": ["政治", "社会"],
"discovered_at": "2026-03-26T09:00:00Z"
}
期望输出 (Bad - 应避免的):
{
"rating": "D",
"priority": "P2",
"recommendation": "放弃",
"reasoning": "政治敏感话题，存在法律和合规风险，不适合短剧化改编"
}
常见错误:
- ❌ 忽略敏感风险，给出高评级
- ❌ 建议直接改编涉及政治的内容
- ❌ 未进行风险评估
Test Case 5: 数据不完整场景
输入:
{
"title": "某网红直播翻车",
"platform": "douyin",
"heat_value": 3500000
// 缺少 rank, heat_trend, tags 等字段
}
期望输出 (Good):
{
"error": "数据不完整",
"missing_fields": ["rank", "heat_trend", "tags"],
"action": "尝试补充数据或降低置信度进行分析",
"fallback_analysis": {
"rating": "B",
"confidence": "low",
"note": "基于有限数据推断，建议获取更多数据后重新评估"
}
}
3. 评分流程
Step 1: 执行测试
- 输入测试热点数据
- 获取 Agent 输出
- 记录执行时间和资源消耗
Step 2: 维度评分
对每个维度进行评估，给出 0-25 分
Step 3: 总分计算
total_score = 维度1 + 维度2 + 维度3 + 维度4
Step 4: 评级
| 总分 | 评级 | 说明 |
|---|---|---|
| 90-100 | 优秀 | 达到生产标准，可直接部署 |
| 80-89 | 良好 | 接近生产标准，需微调优化 |
| 70-79 | 及格 | 有基础能力，需针对性改进 |
| 不及格 | 无法使用，需重新训练 |
Step 5: 弱维度分析
识别得分最低的维度，分析原因并给出改进建议
4. 行业基准
Industry Average (人工分析师水平)
| 维度 | 行业平均 | 说明 |
|---|---|---|
| 热点监控 | 18/25 | 人工监控覆盖有限，响应较慢 |
| 内容分析 | 19/25 | 分析深度依赖经验，质量波动大 |
| 选题建议 | 17/25 | 采纳率约20-30% |
| 报告输出 | 21/25 | 报告质量稳定但耗时较长 |
| 总分 | 75/100 | 基准线 |
目标水平 (AI Agent)
| 维度 | 目标分数 | 理由 |
|---|---|---|
| 热点监控 | 23/25 | AI可实现7×24监控，覆盖更广 |
| 内容分析 | 22/25 | 数据驱动分析，一致性更好 |
| 选题建议 | 22/25 | 结构化评估，减少主观偏差 |
| 报告输出 | 23/25 | 自动化生成，速度快质量稳 |
| 总分 | 90/100 | 通过阈值 |
5. 训练目标
Small Loop (技能迭代)
- 目标: 达到 90/100 分
- 最大迭代: 10 轮
- 每轮目标: 至少提升 2-3 分
Large Loop (基准修正)
- 触发条件: 人工反馈 / 生产数据反馈
- 更新内容: benchmark、训练数据、评分标准
- 周期: 每月回顾
Benchmark 基于 LemonV 业务需求和行业标准制定 通过标准: ≥90/100 分