# 热点分析师技能 - Benchmark 标准

> **目标 Agent**: trend-hunter (热点分析师)
> **Benchmark 版本**: v1.0
> **创建日期**: 2026-03-26
> **通过阈值**: 90/100 (行业平均参考: 75)

---

## 1. 评估维度定义

### 维度 1: 热点监控 (25分)

**定义**: 能够准确、及时地识别和采集多平台热点数据

**评分标准**:
| 分数 | 标准 | 说明 |
|------|------|------|
| 25 | 完美 | 覆盖所有目标平台，数据完整准确，响应及时 |
| 20 | 优秀 | 覆盖主要平台，数据完整，偶有延迟 |
| 15 | 良好 | 覆盖主要平台，部分数据缺失 |
| 10 | 及格 | 覆盖部分平台，数据不完整 |
| 0-5 | 不及格 | 平台覆盖不足，数据质量差 |

**评估要点**:
- [ ] 是否正确识别热点平台 (抖音/微博/小红书/快手)
- [ ] 数据字段是否完整 (标题/热度/排名/标签)
- [ ] 响应速度是否符合要求 (< 4小时)
- [ ] 数据准确性是否达标 (> 95%)

---

### 维度 2: 内容分析 (25分)

**定义**: 能够对热点进行深度分析，提取关键特征

**评分标准**:
| 分数 | 标准 | 说明 |
|------|------|------|
| 25 | 完美 | 分析全面深入，洞察准确，逻辑清晰 |
| 20 | 优秀 | 分析较全面，洞察合理，偶有遗漏 |
| 15 | 良好 | 基本维度都有涉及，分析深度一般 |
| 10 | 及格 | 仅覆盖基础维度，缺乏深度 |
| 0-5 | 不及格 | 分析片面或错误 |

**评估要点**:
- [ ] 话题类型识别是否准确
- [ ] 情绪倾向分析是否合理
- [ ] 传播阶段判断是否正确
- [ ] 受众画像推断是否有依据
- [ ] 关联话题分析是否到位

---

### 维度 3: 选题建议 (25分)

**定义**: 能够基于热点生成立项级别的选题建议

**评分标准**:
| 分数 | 标准 | 说明 |
|------|------|------|
| 25 | 完美 | 选题有创意，角度新颖，可行性强，爆款潜力大 |
| 20 | 优秀 | 选题合理，有吸引力，有执行价值 |
| 15 | 良好 | 选题基本可用，创意一般 |
| 10 | 及格 | 选题勉强可用，缺乏亮点 |
| 0-5 | 不及格 | 选题不可用或风险过高 |

**评估要点**:
- [ ] 短剧化评估是否合理 (冲突/情感/新鲜度/可持续性/改编难度)
- [ ] 选题角度是否多样 (直接改编/情感切入/反套路)
- [ ] 风险评估是否全面 (版权/敏感/争议)
- [ ] 推荐等级是否准确 (强烈/建议/观望/放弃)

---

### 维度 4: 报告输出 (25分)

**定义**: 能够生成结构化、专业级的分析报告

**评分标准**:
| 分数 | 标准 | 说明 |
|------|------|------|
| 25 | 完美 | 报告结构完整，数据详实，逻辑清晰，可读性强 |
| 20 | 优秀 | 报告完整，数据支撑，表达清晰 |
| 15 | 良好 | 报告基本完整，有少量瑕疵 |
| 10 | 及格 | 报告结构不完整，数据支撑不足 |
| 0-5 | 不及格 | 报告质量差，无法使用 |

**评估要点**:
- [ ] 报告结构是否完整 (热点信息/数据分析/评估/建议)
- [ ] 数据是否详实准确
- [ ] 结论是否有逻辑支撑
- [ ] 表达是否简洁清晰
- [ ] 格式是否规范统一

---

## 2. 测试数据集

### 2.1 Good Test Cases (高质量参考)

#### Test Case 1: A级热点 - 社会争议事件

**输入**:
```json
{
  "title": "女子地铁内拒让座被老人辱骂",
  "platform": "weibo",
  "rank": 1,
  "heat_value": 9850000,
  "heat_trend": "rising",
  "tags": ["社会", "道德", "公共交通"],
  "discovered_at": "2026-03-26T08:30:00Z"
}
```

**期望输出 (Good)**:
```json
{
  "report_id": "TR-20260326-001",
  "hotspot_id": "HS-20260326-001",
  "priority": "P0",
  "rating": "A",
  "total_score": 435,
  "dimensions": {
    "conflict_score": 95,
    "emotion_score": 90,
    "novelty_score": 75,
    "sustainability_score": 85,
    "adaptation_score": 90
  },
  "analysis": {
    "topic_type": "社会争议/道德困境",
    "sentiment": "负面/争议",
    "lifecycle": "爆发期",
    "audience": "25-45岁都市人群",
    "key_elements": ["代际冲突", "道德绑架", "公共空间规则"]
  },
  "story_angles": [
    {
      "angle_id": 1,
      "name": "直接改编",
      "synopsis": "职场白领女主在地铁遭遇道德绑架，反击后引发网络热议，探讨现代社会的道德边界",
      "recommended_genre": "都市社会"
    },
    {
      "angle_id": 2,
      "name": "情感切入",
      "synopsis": "从老人视角切入，讲述一个孤独老人在城市中的生存困境，引发共情",
      "recommended_genre": "温情治愈"
    },
    {
      "angle_id": 3,
      "name": "反套路",
      "synopsis": "女主是心理学专家，通过直播剖析事件，引导公众理性讨论",
      "recommended_genre": "职场精英"
    }
  ],
  "risk_assessment": {
    "copyright_risk": "low",
    "sensitive_risk": "medium",
    "controversial_risk": "high"
  },
  "recommendation": "强烈",
  "reasoning": "高冲突性+强情感共鸣+高讨论度，短剧化潜力极高。建议采用反套路角度，避免直接涉及争议"
}
```

---

#### Test Case 2: B级热点 - 娱乐话题

**输入**:
```json
{
  "title": "某明星婚礼现场曝光",
  "platform": "douyin",
  "rank": 3,
  "heat_value": 5234000,
  "heat_trend": "stable",
  "tags": ["娱乐", "明星", "婚礼"],
  "discovered_at": "2026-03-26T10:00:00Z"
}
```

**期望输出 (Good)**:
```json
{
  "report_id": "TR-20260326-002",
  "hotspot_id": "HS-20260326-002",
  "priority": "P1",
  "rating": "B",
  "total_score": 340,
  "dimensions": {
    "conflict_score": 60,
    "emotion_score": 85,
    "novelty_score": 70,
    "sustainability_score": 65,
    "adaptation_score": 60
  },
  "analysis": {
    "topic_type": "娱乐八卦",
    "sentiment": "正面",
    "lifecycle": "高峰期",
    "audience": "18-35岁女性用户",
    "key_elements": ["浪漫", "明星效应", "婚礼"]
  },
  "story_angles": [
    {
      "angle_id": 1,
      "name": "直接改编",
      "synopsis": "普通女孩与顶流明星的闪婚故事，聚焦婚礼前后的甜蜜与挑战",
      "recommended_genre": "甜宠 romance"
    },
    {
      "angle_id": 2,
      "name": "情感切入",
      "synopsis": "婚礼策划师视角，讲述为明星策划婚礼过程中的感人故事",
      "recommended_genre": "职场励志"
    },
    {
      "angle_id": 3,
      "name": "反套路",
      "synopsis": "婚礼是商业炒作，男女主假戏真做的反套路故事",
      "recommended_genre": "娱乐圈"
    }
  ],
  "risk_assessment": {
    "copyright_risk": "medium",
    "sensitive_risk": "low",
    "controversial_risk": "low"
  },
  "recommendation": "建议",
  "reasoning": "娱乐话题热度高但可持续性一般，短剧化角度较多。注意避免直接使用明星形象"
}
```

---

#### Test Case 3: C级热点 - 知识科普

**输入**:
```json
{
  "title": "科学家发现新型节能材料",
  "platform": "zhihu",
  "rank": 15,
  "heat_value": 890000,
  "heat_trend": "falling",
  "tags": ["科技", "环保", "科普"],
  "discovered_at": "2026-03-26T06:00:00Z"
}
```

**期望输出 (Good)**:
```json
{
  "report_id": "TR-20260326-003",
  "hotspot_id": "HS-20260326-003",
  "priority": "P2",
  "rating": "C",
  "total_score": 220,
  "dimensions": {
    "conflict_score": 40,
    "emotion_score": 50,
    "novelty_score": 80,
    "sustainability_score": 40,
    "adaptation_score": 70
  },
  "analysis": {
    "topic_type": "科技科普",
    "sentiment": "中性",
    "lifecycle": "衰退期",
    "audience": "科技爱好者",
    "key_elements": ["科技创新", "环保", "未来生活"]
  },
  "story_angles": [
    {
      "angle_id": 1,
      "name": "直接改编",
      "synopsis": "科学家团队研发新材料的励志故事",
      "recommended_genre": "职场励志"
    }
  ],
  "risk_assessment": {
    "copyright_risk": "low",
    "sensitive_risk": "low",
    "controversial_risk": "low"
  },
  "recommendation": "观望",
  "reasoning": "科技话题缺乏冲突性和情感共鸣，短剧化难度大。可作为背景素材参考"
}
```

---

### 2.2 Bad Test Cases (负面示例)

#### Test Case 4: D级热点 - 政治敏感

**输入**:
```json
{
  "title": "某地区政治事件",
  "platform": "weibo",
  "rank": 2,
  "heat_value": 12000000,
  "heat_trend": "rising",
  "tags": ["政治", "社会"],
  "discovered_at": "2026-03-26T09:00:00Z"
}
```

**期望输出 (Bad - 应避免的)**:
```json
{
  "rating": "D",
  "priority": "P2",
  "recommendation": "放弃",
  "reasoning": "政治敏感话题，存在法律和合规风险，不适合短剧化改编"
}
```

**常见错误**:
- ❌ 忽略敏感风险，给出高评级
- ❌ 建议直接改编涉及政治的内容
- ❌ 未进行风险评估

---

#### Test Case 5: 数据不完整场景

**输入**:
```json
{
  "title": "某网红直播翻车",
  "platform": "douyin",
  "heat_value": 3500000
  // 缺少 rank, heat_trend, tags 等字段
}
```

**期望输出 (Good)**:
```json
{
  "error": "数据不完整",
  "missing_fields": ["rank", "heat_trend", "tags"],
  "action": "尝试补充数据或降低置信度进行分析",
  "fallback_analysis": {
    "rating": "B",
    "confidence": "low",
    "note": "基于有限数据推断，建议获取更多数据后重新评估"
  }
}
```

---

## 3. 评分流程

### Step 1: 执行测试
1. 输入测试热点数据
2. 获取 Agent 输出
3. 记录执行时间和资源消耗

### Step 2: 维度评分
对每个维度进行评估，给出 0-25 分

### Step 3: 总分计算
```
total_score = 维度1 + 维度2 + 维度3 + 维度4
```

### Step 4: 评级
| 总分 | 评级 | 说明 |
|------|------|------|
| 90-100 | 优秀 | 达到生产标准，可直接部署 |
| 80-89 | 良好 | 接近生产标准，需微调优化 |
| 70-79 | 及格 | 有基础能力，需针对性改进 |
| <70 | 不及格 | 无法使用，需重新训练 |

### Step 5: 弱维度分析
识别得分最低的维度，分析原因并给出改进建议

---

## 4. 行业基准

### Industry Average (人工分析师水平)

| 维度 | 行业平均 | 说明 |
|------|----------|------|
| 热点监控 | 18/25 | 人工监控覆盖有限，响应较慢 |
| 内容分析 | 19/25 | 分析深度依赖经验，质量波动大 |
| 选题建议 | 17/25 | 采纳率约20-30% |
| 报告输出 | 21/25 | 报告质量稳定但耗时较长 |
| **总分** | **75/100** | 基准线 |

### 目标水平 (AI Agent)

| 维度 | 目标分数 | 理由 |
|------|----------|------|
| 热点监控 | 23/25 | AI可实现7×24监控，覆盖更广 |
| 内容分析 | 22/25 | 数据驱动分析，一致性更好 |
| 选题建议 | 22/25 | 结构化评估，减少主观偏差 |
| 报告输出 | 23/25 | 自动化生成，速度快质量稳 |
| **总分** | **90/100** | 通过阈值 |

---

## 5. 训练目标

### Small Loop (技能迭代)
- **目标**: 达到 90/100 分
- **最大迭代**: 10 轮
- **每轮目标**: 至少提升 2-3 分

### Large Loop (基准修正)
- **触发条件**: 人工反馈 / 生产数据反馈
- **更新内容**: benchmark、训练数据、评分标准
- **周期**: 每月回顾

---

*Benchmark 基于 LemonV 业务需求和行业标准制定*
*通过标准: ≥90/100 分*