P0 · 阶段闸门指标（每阶段必须 100%）
| 阶段 | 指标 | 目标 | 测量方式 |
|---|---|---|---|
| P1 | curl 一句话需求 → 三份文档落盘 | ≥ 90% 成功率（10 次抽样） | integration test |
| PRD/SDD HTML 通过 cheerio 校验 | 100% | DocStore.validateHTML | |
| units.json schema 校验 | 100% | typebox | |
| P2 | 单 Unit 红→绿收敛率 | ≥ 80% 在 3 次 retry 内 | 10 个 demo Unit 跑 100 次 |
| retryWithReflection 二次失败率 | ≤ 30% | 同上 | |
| 沙箱越权写 | 0 次 | 越权写直接拒绝 | |
| P3 | 「contract_mismatch」演示自愈 | ≥ 90% 一轮内修复 | 注入 5 种典型 mismatch |
| L2 总修复轮次 | 平均 ≤ 1.5 | 同上 | |
| impl_bug 与 spec_ambiguous 归类正确率 | ≥ 85% | 30 个标注 case | |
| P4 | Dashboard SSE 端到端延迟 | ≤ 2s（P95） | 手动 stopwatch + 浏览器 perf |
| PRD diff 面板渲染正确率 | 100% | 10 个 rev 切换 | |
| L3 反馈 → 增量 reset 准确率 | ≥ 95% | diff_units 单测 |
P1 · 北极星 KPI（系统整体）
速度
< 30min
「TODO API + 前端」从需求 → shipped 端到端
成本
< 50万
Token / 上述 demo
无人化率
≥ 80%
项目从启动到 shipped 不需人工干预的比例
在 P4 演示日同时满足三条 = 系统达成 MVP。任意一条不达就视为失败，回到 P3 调优。
P2 · 长期质量 KPI（运营期）
| 维度 | 指标 | 目标 | 采集 |
|---|---|---|---|
| 收敛性 | blocked 项目比例（30 天内） | ≤ 10% | UnitRegistry 累计 |
| 收敛性 | l2_exhausted 比例 | ≤ 5% | LoopController 日志 |
| 质量 | shipped 项目人工返工率 | ≤ 20% | 人工标注 |
| 质量 | contract.json 与 SDD 一致性 | 100% | DocStore 校验 |
| 反思有效性 | retry-2 比 retry-1 失败率降幅 | ≥ 40% | runs/result.json 统计 |
| 成本 | 平均 Token / 项目 | 持续下降趋势 | token_budget 累计 |
| 速度 | 平均墙钟 / 项目 | ≤ 1 小时 | project.json 时间戳 |
| 文档健康 | PRD section 与代码 unit 对齐率 | ≥ 90% | 每周脚本扫描 |
| 复现力 | 外部 Claude Code 复现成功率 | ≥ 70% | 季度复现实验 |
反指标（不要追的东西）
- 不追「项目数量」 — 一个跑通的项目 >> 十个挂起的项目。
- 不追「代码行数」 — Coder 写 200 行能解决的就不要 500 行。
- 不追「Agent 调用次数」 — 调用次数越多越花钱，不是越「努力」越好。
- 不追「PRD rev 数量」 — rev 多说明需求不清晰，不说明产品丰富。
验收清单（P4 演示日）
| # | 项 | 判定 |
|---|---|---|
| 1 | 从空项目 curl 启动 TODO 需求 | 30s 内 prd.html v1 落盘 ✓ |
| 2 | L1 全部 Unit 通过 | ≤ 3 次 retry / Unit ✓ |
| 3 | L2 通过 | ≤ 1 次 L2 round ✓ |
| 4 | 追加「加 OAuth」反馈 | 仅 oauth-be + oauth-fe + auth-mw 入 L1，其他不动 ✓ |
| 5 | 注入 contract mismatch | BugTriager 一轮内修复 ✓ |
| 6 | Dashboard 全程实时跟随 | SSE 不丢、不重复 ✓ |
| 7 | shipped 后归档 | history/ 完整 ✓ |
| 8 | 外部 Claude Code 用 PRD 复现整套 DevLoop | 5 文件 + 6 模板生成，单测 ≥ 80% 绿 ✓ |
8 项全 ✓ → 系统可对外宣布 v1.0。