# QA Judge 理想能力模型 v2.0

## 概述

本文档定义 QA Judge Agent 的理想能力模型，作为能力进化的目标蓝图。

---

## 一、核心能力维度

### 1.1 准确性 (Accuracy) - 权重 30%

**定义**：正确识别缺陷、准确评分的能力

| 能力项 | 当前水平 | 目标水平 | 差距 |
|--------|----------|----------|------|
| 缺陷检出率 | ~75% | >= 95% | +20% |
| 评分准确度 | ~80% | >= 90% | +10% |
| 误报率 | ~15% | <= 5% | -10% |
| 红线检出率 | ~90% | 100% | +10% |

**关键能力**：
- 精确识别代码漏洞模式（OWASP Top 10）
- 准确判断文本内容的完整性和准确性
- 精确检测设计规范违反
- 准确评估数据格式和一致性

---

### 1.2 一致性 (Consistency) - 权重 25%

**定义**：多次评审同一产出结果稳定，跨产出标准统一

| 能力项 | 当前水平 | 目标水平 | 差距 |
|--------|----------|----------|------|
| 重复一致性 | ~85% | >= 95% | +10% |
| 跨文档一致性 | ~60% | >= 90% | +30% |
| 标准统一性 | ~80% | >= 95% | +15% |

**关键能力**：
- 相同缺陷在不同位置扣分一致
- 跨文档检测命名/逻辑冲突
- 历史评审结果对比追踪
- 标准版本控制和同步

---

### 1.3 覆盖率 (Coverage) - 权重 20%

**定义**：检测维度全面，覆盖各类缺陷类型

| 能力项 | 当前水平 | 目标水平 | 差距 |
|--------|----------|----------|------|
| 代码缺陷覆盖 | ~70% | >= 90% | +20% |
| 文本质量覆盖 | ~65% | >= 85% | +20% |
| 设计规范覆盖 | ~60% | >= 85% | +25% |
| 安全漏洞覆盖 | ~75% | >= 95% | +20% |

**关键能力**：
- 覆盖 50+ 种代码缺陷模式
- 覆盖 30+ 种文本质量问题
- 覆盖 20+ 种设计规范检查
- 覆盖 OWASP Top 10 + CWE Top 25

---

### 1.4 多模态评审 (Multimodal) - 权重 15%

**定义**：支持多种产出类型的质量评审

| 能力项 | 当前水平 | 目标水平 | 差距 |
|--------|----------|----------|------|
| 文本评审 | 90% | 95% | +5% |
| 代码评审 | 85% | 95% | +10% |
| 设计稿评审 | 70% | 90% | +20% |
| 数据评审 | 75% | 90% | +15% |
| 图像评审 | 0% | 80% | +80% |
| 混合产出 | 60% | 90% | +30% |

**关键能力**：
- 图像内容识别（UI 截图分析）
- 设计稿与代码实现对比
- 多格式数据一致性检查
- 跨模态关联分析

---

### 1.5 效率与可解释性 (Efficiency & Explainability) - 权重 10%

**定义**：评审速度快，结果可解释

| 能力项 | 当前水平 | 目标水平 | 差距 |
|--------|----------|----------|------|
| 评审速度 | 中等 | 快速 | 优化 |
| 报告清晰度 | 80% | 95% | +15% |
| 修复指导质量 | 70% | 90% | +20% |

---

## 二、理想能力架构

```
┌─────────────────────────────────────────────────────────────┐
│                    QA Judge 理想能力架构                      │
├─────────────────────────────────────────────────────────────┤
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │  感知层     │  │  分析层     │  │  决策层     │         │
│  │  Perception │  │  Analysis   │  │  Decision   │         │
│  └──────┬──────┘  └──────┬──────┘  └──────┬──────┘         │
│         │                │                │                │
│    文本/代码/设计/数据   缺陷检测/分类/溯源  评分/判决/报告    │
│    图像/音频/视频        模式识别/根因分析  建议/升级/追踪    │
│         │                │                │                │
│  ├─ 输入解析            ├─ 静态分析       ├─ 评分引擎        │
│  ├─ 格式识别            ├─ 语义分析       ├─ 判决逻辑        │
│  ├─ 内容提取            ├─ 安全扫描       ├─ 报告生成        │
│  └─ 元数据提取          └─ 一致性检查     └─ 反馈优化        │
│                                                              │
│  ┌─────────────────────────────────────────────────────┐   │
│  │  知识层 (Knowledge Base)                              │   │
│  │  - 缺陷模式库 (1000+ patterns)                        │   │
│  │  - 安全漏洞库 (OWASP, CWE, CVE)                       │   │
│  │  - 编码规范库 (Google, Airbnb, etc.)                  │   │
│  │  - 设计规范库 (Material, HIG, etc.)                   │   │
│  │  - 历史评审数据                                       │   │
│  └─────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────┘
```

---

## 三、质量评估维度详解

### 3.1 代码评审维度

| 维度 | 权重 | 检查要点 | 检测方法 |
|------|------|----------|----------|
| 功能正确性 | 30% | 逻辑正确、边界处理、无副作用 | 静态分析 + 模式匹配 |
| 安全性 | 25% | 注入防护、权限控制、数据安全 | 安全规则引擎 |
| 可维护性 | 20% | 可读性、文档、测试覆盖 | 代码度量 + 规范检查 |
| 性能 | 15% | 时间/空间复杂度、资源使用 | 复杂度分析 |
| 规范性 | 10% | 代码风格、命名规范 | Lint 工具集成 |

### 3.2 文本评审维度

| 维度 | 权重 | 检查要点 | 检测方法 |
|------|------|----------|----------|
| 完整性 | 25% | 需求覆盖、结构完整 | 内容分析 |
| 准确性 | 30% | 事实正确、数据准确 | 事实核查 |
| 逻辑性 | 20% | 论证严密、条理清晰 | 逻辑分析 |
| 可读性 | 15% | 语言流畅、通俗易懂 | 可读性指标 |
| 规范性 | 10% | 格式规范、引用正确 | 格式检查 |

### 3.3 设计评审维度

| 维度 | 权重 | 检查要点 | 检测方法 |
|------|------|----------|----------|
| 一致性 | 30% | 设计系统符合度、视觉统一 | 对比分析 |
| 可实现性 | 25% | 技术可行、性能可接受 | 可行性评估 |
| 用户体验 | 25% | 易用性、可访问性 | 启发式评估 |
| 规范性 | 20% | 命名、图层、标注规范 | 规范检查 |

---

## 四、评分标准 v2.0

### 4.1 评分等级

| 分数段 | 等级 | 结论 | 处理流程 |
|--------|------|------|----------|
| 95-100 | S | PASS | 直接通过，标记为优秀案例 |
| 85-94 | A | PASS | 通过，可合并/发布 |
| 70-84 | B | REWORK | 轻微调整，限期修正 |
| 50-69 | C | REWORK | 返工修正，需重新评审 |
| 30-49 | D | RETRAIN_REQUIRED | 能力缺陷，启动重训 |
| 0-29 | F | RETRAIN_REQUIRED | 严重缺陷，强制重训 |

### 4.2 扣分细则 v2.0

| 缺陷类别 | 扣分范围 | 说明 | 自动触发条件 |
|----------|----------|------|--------------|
| **致命缺陷** | -100 | 系统级风险 | 任意一处 → 自动 RETRAIN_REQUIRED |
| **红线违规** | -50~-80/处 | 安全/合规/核心功能 | 任意一处 → 自动 RETRAIN_REQUIRED |
| **严重缺陷** | -20~-40/处 | 功能错误、性能问题 | 3处以上 → RETRAIN_REQUIRED |
| **一般缺陷** | -10~-20/处 | 逻辑问题、边界缺失 | 5处以上 → REWORK |
| **轻微缺陷** | -5~-10/处 | 规范违反、文档缺失 | 累计扣分 |
| **建议改进** | -1~-5/处 | 最佳实践、优化建议 | 不影响通过 |

### 4.3 加分项

| 加分项 | 加分范围 | 说明 |
|--------|----------|------|
| 优秀实践 | +5~+10 | 超出预期的优秀实现 |
| 创新方案 | +5~+15 | 创新的解决方案 |
| 完整测试 | +5~+10 | 高测试覆盖率 |
| 详细文档 | +3~+8 | 优秀的文档说明 |

---

## 五、输出规范 v2.0

### 5.1 标准输出格式

```json
{
  "judgment_id": "judge-{uuid}",
  "version": "2.0",
  "timestamp": "2026-03-25T12:00:00Z",
  "target_agent": "被审查的 Agent ID",
  "original_task": "原始任务描述",
  "score": {
    "total": 85,
    "breakdown": {
      "completeness": 90,
      "correctness": 85,
      "security": 80,
      "performance": 85,
      "maintainability": 85
    }
  },
  "status": "PASS|REWORK|RETRAIN_REQUIRED",
  "grade": "A|B|C|D|F",
  "feedback_to_agent": {
    "summary": "总体评价",
    "action_items": ["修正项1", "修正项2"],
    "best_practices": ["优秀实践1"]
  },
  "escalation_report_to_ceo": {
    "triggered": false,
    "systemic_issue": "系统性问题描述",
    "capability_gaps": ["能力缺口1", "能力缺口2"],
    "recommended_action": "建议采取的行动",
    "priority": "P0|P1|P2"
  },
  "detailed_report": {
    "summary": "一句话总结",
    "strengths": ["优点1", "优点2"],
    "defects": [
      {
        "id": "D-001",
        "severity": "critical|major|minor|info",
        "category": "粗心|能力缺陷|设计缺陷",
        "type": "security|function|performance|style|doc",
        "location": "文件路径:行号",
        "description": "问题描述",
        "root_cause": "根因分析",
        "suggestion": "修复建议",
        "example_fix": "修复示例代码",
        "deduction": 10,
        "confidence": 0.95
      }
    ],
    "redline_violations": [
      {
        "rule": "安全|合规|核心功能",
        "type": "SQL注入|XSS|硬编码密钥|...",
        "location": "文件路径:行号",
        "details": "违规详情",
        "severity": "critical",
        "cwe_id": "CWE-89",
        "impact": "潜在影响",
        "remediation": "修复方案"
      }
    ],
    "consistency_issues": [
      {
        "type": "naming|logic|style",
        "locations": ["文件1:行号", "文件2:行号"],
        "description": "不一致描述"
      }
    ],
    "metrics": {
      "completeness": 90,
      "correctness": 85,
      "security": 80,
      "performance": 85,
      "maintainability": 85
    },
    "statistics": {
      "total_defects": 5,
      "critical": 0,
      "major": 2,
      "minor": 2,
      "info": 1,
      "careless_errors": 3,
      "capability_gaps": 2
    }
  },
  "metadata": {
    "review_duration_ms": 1500,
    "lines_reviewed": 150,
    "files_reviewed": 3
  }
}
```

---

## 六、能力进化路线图

### Phase 1: 基础强化 (当前)
- [x] 完善测试用例库
- [x] 建立基准指标
- [ ] 优化评分算法
- [ ] 增强报告可解释性

### Phase 2: 能力扩展 (1-2周)
- [ ] 增加图像评审能力
- [ ] 实现跨文档一致性检查
- [ ] 集成自动化测试框架
- [ ] 建立历史追踪机制

### Phase 3: 智能化 (2-4周)
- [ ] 引入机器学习辅助检测
- [ ] 实现自适应评分权重
- [ ] 建立缺陷模式库
- [ ] 优化评审效率

### Phase 4: 生态集成 (4-6周)
- [ ] CI/CD 流水线集成
- [ ] 实时质量监控
- [ ] 多 Agent 协作评审
- [ ] 质量趋势分析

---

## 七、关键性能指标 (KPI)

| 指标 | 当前 | 目标 (3个月) | 目标 (6个月) |
|------|------|--------------|--------------|
| 缺陷检出率 | ~75% | 90% | 95% |
| 评分准确度 | ~80% | 90% | 95% |
| 误报率 | ~15% | 8% | 5% |
| 红线检出率 | ~90% | 100% | 100% |
| 一致性 | ~85% | 92% | 95% |
| 评审速度 | 中等 | 快 | 实时 |

---

*文档版本: 2.0*
*最后更新: 2026-03-25*