qa_judge_ideal_model.md
11.6 KB
QA Judge 理想能力模型 v2.0
概述
本文档定义 QA Judge Agent 的理想能力模型，作为能力进化的目标蓝图。
一、核心能力维度
1.1 准确性 (Accuracy) - 权重 30%
定义：正确识别缺陷、准确评分的能力
| 能力项 | 当前水平 | 目标水平 | 差距 |
|---|---|---|---|
| 缺陷检出率 | ~75% | >= 95% | +20% |
| 评分准确度 | ~80% | >= 90% | +10% |
| 误报率 | ~15% | -10% | |
| 红线检出率 | ~90% | 100% | +10% |
关键能力：
- 精确识别代码漏洞模式（OWASP Top 10）
- 准确判断文本内容的完整性和准确性
- 精确检测设计规范违反
- 准确评估数据格式和一致性
1.2 一致性 (Consistency) - 权重 25%
定义：多次评审同一产出结果稳定，跨产出标准统一
| 能力项 | 当前水平 | 目标水平 | 差距 |
|---|---|---|---|
| 重复一致性 | ~85% | >= 95% | +10% |
| 跨文档一致性 | ~60% | >= 90% | +30% |
| 标准统一性 | ~80% | >= 95% | +15% |
关键能力：
- 相同缺陷在不同位置扣分一致
- 跨文档检测命名/逻辑冲突
- 历史评审结果对比追踪
- 标准版本控制和同步
1.3 覆盖率 (Coverage) - 权重 20%
定义：检测维度全面，覆盖各类缺陷类型
| 能力项 | 当前水平 | 目标水平 | 差距 |
|---|---|---|---|
| 代码缺陷覆盖 | ~70% | >= 90% | +20% |
| 文本质量覆盖 | ~65% | >= 85% | +20% |
| 设计规范覆盖 | ~60% | >= 85% | +25% |
| 安全漏洞覆盖 | ~75% | >= 95% | +20% |
关键能力：
- 覆盖 50+ 种代码缺陷模式
- 覆盖 30+ 种文本质量问题
- 覆盖 20+ 种设计规范检查
- 覆盖 OWASP Top 10 + CWE Top 25
1.4 多模态评审 (Multimodal) - 权重 15%
定义：支持多种产出类型的质量评审
| 能力项 | 当前水平 | 目标水平 | 差距 |
|---|---|---|---|
| 文本评审 | 90% | 95% | +5% |
| 代码评审 | 85% | 95% | +10% |
| 设计稿评审 | 70% | 90% | +20% |
| 数据评审 | 75% | 90% | +15% |
| 图像评审 | 0% | 80% | +80% |
| 混合产出 | 60% | 90% | +30% |
关键能力：
- 图像内容识别（UI 截图分析）
- 设计稿与代码实现对比
- 多格式数据一致性检查
- 跨模态关联分析
1.5 效率与可解释性 (Efficiency & Explainability) - 权重 10%
定义：评审速度快，结果可解释
| 能力项 | 当前水平 | 目标水平 | 差距 |
|---|---|---|---|
| 评审速度 | 中等 | 快速 | 优化 |
| 报告清晰度 | 80% | 95% | +15% |
| 修复指导质量 | 70% | 90% | +20% |
二、理想能力架构
┌─────────────────────────────────────────────────────────────┐
│ QA Judge 理想能力架构 │
├─────────────────────────────────────────────────────────────┤
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 感知层 │ │ 分析层 │ │ 决策层 │ │
│ │ Perception │ │ Analysis │ │ Decision │ │
│ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │
│ │ │ │ │
│ 文本/代码/设计/数据 缺陷检测/分类/溯源 评分/判决/报告 │
│ 图像/音频/视频 模式识别/根因分析 建议/升级/追踪 │
│ │ │ │ │
│ ├─ 输入解析 ├─ 静态分析 ├─ 评分引擎 │
│ ├─ 格式识别 ├─ 语义分析 ├─ 判决逻辑 │
│ ├─ 内容提取 ├─ 安全扫描 ├─ 报告生成 │
│ └─ 元数据提取 └─ 一致性检查 └─ 反馈优化 │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 知识层 (Knowledge Base) │ │
│ │ - 缺陷模式库 (1000+ patterns) │ │
│ │ - 安全漏洞库 (OWASP, CWE, CVE) │ │
│ │ - 编码规范库 (Google, Airbnb, etc.) │ │
│ │ - 设计规范库 (Material, HIG, etc.) │ │
│ │ - 历史评审数据 │ │
│ └─────────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
三、质量评估维度详解
3.1 代码评审维度
| 维度 | 权重 | 检查要点 | 检测方法 |
|---|---|---|---|
| 功能正确性 | 30% | 逻辑正确、边界处理、无副作用 | 静态分析 + 模式匹配 |
| 安全性 | 25% | 注入防护、权限控制、数据安全 | 安全规则引擎 |
| 可维护性 | 20% | 可读性、文档、测试覆盖 | 代码度量 + 规范检查 |
| 性能 | 15% | 时间/空间复杂度、资源使用 | 复杂度分析 |
| 规范性 | 10% | 代码风格、命名规范 | Lint 工具集成 |
3.2 文本评审维度
| 维度 | 权重 | 检查要点 | 检测方法 |
|---|---|---|---|
| 完整性 | 25% | 需求覆盖、结构完整 | 内容分析 |
| 准确性 | 30% | 事实正确、数据准确 | 事实核查 |
| 逻辑性 | 20% | 论证严密、条理清晰 | 逻辑分析 |
| 可读性 | 15% | 语言流畅、通俗易懂 | 可读性指标 |
| 规范性 | 10% | 格式规范、引用正确 | 格式检查 |
3.3 设计评审维度
| 维度 | 权重 | 检查要点 | 检测方法 |
|---|---|---|---|
| 一致性 | 30% | 设计系统符合度、视觉统一 | 对比分析 |
| 可实现性 | 25% | 技术可行、性能可接受 | 可行性评估 |
| 用户体验 | 25% | 易用性、可访问性 | 启发式评估 |
| 规范性 | 20% | 命名、图层、标注规范 | 规范检查 |
四、评分标准 v2.0
4.1 评分等级
| 分数段 | 等级 | 结论 | 处理流程 |
|---|---|---|---|
| 95-100 | S | PASS | 直接通过，标记为优秀案例 |
| 85-94 | A | PASS | 通过，可合并/发布 |
| 70-84 | B | REWORK | 轻微调整，限期修正 |
| 50-69 | C | REWORK | 返工修正，需重新评审 |
| 30-49 | D | RETRAIN_REQUIRED | 能力缺陷，启动重训 |
| 0-29 | F | RETRAIN_REQUIRED | 严重缺陷，强制重训 |
4.2 扣分细则 v2.0
| 缺陷类别 | 扣分范围 | 说明 | 自动触发条件 |
|---|---|---|---|
| 致命缺陷 | -100 | 系统级风险 | 任意一处 → 自动 RETRAIN_REQUIRED |
| 红线违规 | -50~-80/处 | 安全/合规/核心功能 | 任意一处 → 自动 RETRAIN_REQUIRED |
| 严重缺陷 | -20~-40/处 | 功能错误、性能问题 | 3处以上 → RETRAIN_REQUIRED |
| 一般缺陷 | -10~-20/处 | 逻辑问题、边界缺失 | 5处以上 → REWORK |
| 轻微缺陷 | -5~-10/处 | 规范违反、文档缺失 | 累计扣分 |
| 建议改进 | -1~-5/处 | 最佳实践、优化建议 | 不影响通过 |
4.3 加分项
| 加分项 | 加分范围 | 说明 |
|---|---|---|
| 优秀实践 | +5~+10 | 超出预期的优秀实现 |
| 创新方案 | +5~+15 | 创新的解决方案 |
| 完整测试 | +5~+10 | 高测试覆盖率 |
| 详细文档 | +3~+8 | 优秀的文档说明 |
五、输出规范 v2.0
5.1 标准输出格式
{
"judgment_id": "judge-{uuid}",
"version": "2.0",
"timestamp": "2026-03-25T12:00:00Z",
"target_agent": "被审查的 Agent ID",
"original_task": "原始任务描述",
"score": {
"total": 85,
"breakdown": {
"completeness": 90,
"correctness": 85,
"security": 80,
"performance": 85,
"maintainability": 85
}
},
"status": "PASS|REWORK|RETRAIN_REQUIRED",
"grade": "A|B|C|D|F",
"feedback_to_agent": {
"summary": "总体评价",
"action_items": ["修正项1", "修正项2"],
"best_practices": ["优秀实践1"]
},
"escalation_report_to_ceo": {
"triggered": false,
"systemic_issue": "系统性问题描述",
"capability_gaps": ["能力缺口1", "能力缺口2"],
"recommended_action": "建议采取的行动",
"priority": "P0|P1|P2"
},
"detailed_report": {
"summary": "一句话总结",
"strengths": ["优点1", "优点2"],
"defects": [
{
"id": "D-001",
"severity": "critical|major|minor|info",
"category": "粗心|能力缺陷|设计缺陷",
"type": "security|function|performance|style|doc",
"location": "文件路径:行号",
"description": "问题描述",
"root_cause": "根因分析",
"suggestion": "修复建议",
"example_fix": "修复示例代码",
"deduction": 10,
"confidence": 0.95
}
],
"redline_violations": [
{
"rule": "安全|合规|核心功能",
"type": "SQL注入|XSS|硬编码密钥|...",
"location": "文件路径:行号",
"details": "违规详情",
"severity": "critical",
"cwe_id": "CWE-89",
"impact": "潜在影响",
"remediation": "修复方案"
}
],
"consistency_issues": [
{
"type": "naming|logic|style",
"locations": ["文件1:行号", "文件2:行号"],
"description": "不一致描述"
}
],
"metrics": {
"completeness": 90,
"correctness": 85,
"security": 80,
"performance": 85,
"maintainability": 85
},
"statistics": {
"total_defects": 5,
"critical": 0,
"major": 2,
"minor": 2,
"info": 1,
"careless_errors": 3,
"capability_gaps": 2
}
},
"metadata": {
"review_duration_ms": 1500,
"lines_reviewed": 150,
"files_reviewed": 3
}
}
六、能力进化路线图
Phase 1: 基础强化 (当前)
- [x] 完善测试用例库
- [x] 建立基准指标
- [ ] 优化评分算法
- [ ] 增强报告可解释性
Phase 2: 能力扩展 (1-2周)
- [ ] 增加图像评审能力
- [ ] 实现跨文档一致性检查
- [ ] 集成自动化测试框架
- [ ] 建立历史追踪机制
Phase 3: 智能化 (2-4周)
- [ ] 引入机器学习辅助检测
- [ ] 实现自适应评分权重
- [ ] 建立缺陷模式库
- [ ] 优化评审效率
Phase 4: 生态集成 (4-6周)
- [ ] CI/CD 流水线集成
- [ ] 实时质量监控
- [ ] 多 Agent 协作评审
- [ ] 质量趋势分析
七、关键性能指标 (KPI)
| 指标 | 当前 | 目标 (3个月) | 目标 (6个月) |
|---|---|---|---|
| 缺陷检出率 | ~75% | 90% | 95% |
| 评分准确度 | ~80% | 90% | 95% |
| 误报率 | ~15% | 8% | 5% |
| 红线检出率 | ~90% | 100% | 100% |
| 一致性 | ~85% | 92% | 95% |
| 评审速度 | 中等 | 快 | 实时 |
文档版本: 2.0 最后更新: 2026-03-25