# 成功指标与 KPI

> 三层指标：P0 阶段验收（每阶段闸门）、P1 北极星（整体存活）、P2 长期质量（运营期）。每条都给具体数字，便于「过没过」的二值判断。

## P0 · 阶段闸门指标（每阶段必须 100%）

| 阶段 | 指标 | 目标 | 测量方式 |
| --- | --- | --- | --- |
| **P1** | curl 一句话需求 → 三份文档落盘 | ≥ 90% 成功率（10 次抽样） | integration test |
| PRD/SDD HTML 通过 cheerio 校验 | 100% | DocStore.validateHTML |
| units.json schema 校验 | 100% | typebox |
| **P2** | 单 Unit 红→绿收敛率 | ≥ 80% 在 3 次 retry 内 | 10 个 demo Unit 跑 100 次 |
| retryWithReflection 二次失败率 | ≤ 30% | 同上 |
| 沙箱越权写 | 0 次 | 越权写直接拒绝 |
| **P3** | 「contract_mismatch」演示自愈 | ≥ 90% 一轮内修复 | 注入 5 种典型 mismatch |
| L2 总修复轮次 | 平均 ≤ 1.5 | 同上 |
| impl_bug 与 spec_ambiguous 归类正确率 | ≥ 85% | 30 个标注 case |
| **P4** | Dashboard SSE 端到端延迟 | ≤ 2s（P95） | 手动 stopwatch + 浏览器 perf |
| PRD diff 面板渲染正确率 | 100% | 10 个 rev 切换 |
| L3 反馈 → 增量 reset 准确率 | ≥ 95% | diff_units 单测 |

## P1 · 北极星 KPI（系统整体）

#### 速度

<h1 style="font-size:48px;margin:0;font-family:Fraunces">< 30min</h1>

「TODO API + 前端」从需求 → shipped 端到端

#### 成本

<h1 style="font-size:48px;margin:0;font-family:Fraunces">< 50万</h1>

Token / 上述 demo

#### 无人化率

<h1 style="font-size:48px;margin:0;font-family:Fraunces">≥ 80%</h1>

项目从启动到 shipped 不需人工干预的比例

> _在 P4 演示日同时满足三条 = 系统达成 MVP。任意一条不达就视为**失败**，回到 P3 调优。_

## P2 · 长期质量 KPI（运营期）

| 维度 | 指标 | 目标 | 采集 |
| --- | --- | --- | --- |
| 收敛性 | blocked 项目比例（30 天内） | ≤ 10% | UnitRegistry 累计 |
| 收敛性 | l2_exhausted 比例 | ≤ 5% | LoopController 日志 |
| 质量 | shipped 项目人工返工率 | ≤ 20% | 人工标注 |
| 质量 | contract.json 与 SDD 一致性 | 100% | DocStore 校验 |
| 反思有效性 | retry-2 比 retry-1 失败率降幅 | ≥ 40% | runs/result.json 统计 |
| 成本 | 平均 Token / 项目 | 持续下降趋势 | token_budget 累计 |
| 速度 | 平均墙钟 / 项目 | ≤ 1 小时 | project.json 时间戳 |
| 文档健康 | PRD section 与代码 unit 对齐率 | ≥ 90% | 每周脚本扫描 |
| 复现力 | 外部 Claude Code 复现成功率 | ≥ 70% | 季度复现实验 |

## 反指标（不要追的东西）

- **不追「项目数量」** — 一个跑通的项目 >> 十个挂起的项目。
- **不追「代码行数」** — Coder 写 200 行能解决的就不要 500 行。
- **不追「Agent 调用次数」** — 调用次数越多越花钱，不是越「努力」越好。
- **不追「PRD rev 数量」** — rev 多说明需求不清晰，不说明产品丰富。

## 验收清单（P4 演示日）

| # | 项 | 判定 |
| --- | --- | --- |
| 1 | 从空项目 curl 启动 TODO 需求 | 30s 内 prd.html v1 落盘 ✓ |
| 2 | L1 全部 Unit 通过 | ≤ 3 次 retry / Unit ✓ |
| 3 | L2 通过 | ≤ 1 次 L2 round ✓ |
| 4 | 追加「加 OAuth」反馈 | 仅 oauth-be + oauth-fe + auth-mw 入 L1，其他不动 ✓ |
| 5 | 注入 contract mismatch | BugTriager 一轮内修复 ✓ |
| 6 | Dashboard 全程实时跟随 | SSE 不丢、不重复 ✓ |
| 7 | shipped 后归档 | history/ 完整 ✓ |
| 8 | 外部 Claude Code 用 PRD 复现整套 DevLoop | 5 文件 + 6 模板生成，单测 ≥ 80% 绿 ✓ |

> _8 项全 ✓ → 系统可对外宣布 v1.0。_