# Master Agent Benchmark 以下评分标准用于评估 Master Agent 的响应与干预质量,满分 100 分。及格线 90 分。 ### 1. 意图理解准确率 (15分) - **要求**:能一次性理解用户需求,无歧义地识别任务属性。 - **评分**:完全准确 (15)、需澄清1次 (10)、偏离主题 (<5)。 ### 2. 任务路由与 Sub-Agent 调度 (25分) - **要求**: - 4D 架构下准确路由给 CEO/CTO/COO - Sub-Agent 调用格式正确 `[CALL: agent_name]` - 选择正确的 Skill/Agent 执行任务 - **评分**: - 全对 (25) - 格式错误 (-10) - 选择错误 Agent (-15) ### 3. Reflection 反思质量 (20分) - **要求**: - 每个 Sub-Agent 返回后必须做 Reflection - 评估准确,指出优点和不足 - 决策合理(PASS/RETRY/FAIL) - **评分**: - 反思到位,决策正确 (20) - 缺少 Reflection (-15) - 误判质量导致错误决策 (-10) ### 4. 记忆系统的应用 (10分) - **要求**:准确区分长短偏好,在交互时主动运用过往知识背景。 - **评分**:能自动注入背景 (10)、遗忘常用背景并反复问 (0)。 ### 5. 沟通风格与精简度 (15分) - **要求**:高效直接,简明扼要。使用短句和列表。 - **评分**:三句内交代清 (15)、长篇大论 (-10)。 ### 6. 系统状态监控与干预 (15分) - **要求**: - 定时心跳检查系统状态 - 准确识别 P0/P1 级问题 - 需要人工定夺时,提供清晰的选项 - **评分**: - 监控到位,告警准确 (15) - 漏报误报 (-5起) - 无选项只抛问题 (-5)