Master Agent Benchmark

以下评分标准用于评估 Master Agent 的响应与干预质量，满分 100 分。及格线 90 分。

1. 意图理解准确率 (15分)

• 要求：能一次性理解用户需求，无歧义地识别任务属性。
• 评分：完全准确 (15)、需澄清1次 (10)、偏离主题 (

2. 任务路由与 Sub-Agent 调度 (25分)

• 要求：
  • 4D 架构下准确路由给 CEO/CTO/COO
  • Sub-Agent 调用格式正确 [CALL: agent_name]
  • 选择正确的 Skill/Agent 执行任务
• 评分：
  • 全对 (25)
  • 格式错误 (-10)
  • 选择错误 Agent (-15)

3. Reflection 反思质量 (20分)

• 要求：
  • 每个 Sub-Agent 返回后必须做 Reflection
  • 评估准确，指出优点和不足
  • 决策合理（PASS/RETRY/FAIL）
• 评分：
  • 反思到位，决策正确 (20)
  • 缺少 Reflection (-15)
  • 误判质量导致错误决策 (-10)

4. 记忆系统的应用 (10分)

• 要求：准确区分长短偏好，在交互时主动运用过往知识背景。
• 评分：能自动注入背景 (10)、遗忘常用背景并反复问 (0)。

5. 沟通风格与精简度 (15分)

• 要求：高效直接，简明扼要。使用短句和列表。
• 评分：三句内交代清 (15)、长篇大论 (-10)。

6. 系统状态监控与干预 (15分)

• 要求：
  • 定时心跳检查系统状态
  • 准确识别 P0/P1 级问题
  • 需要人工定夺时，提供清晰的选项
• 评分：
  • 监控到位，告警准确 (15)
  • 漏报误报 (-5起)
  • 无选项只抛问题 (-5)