Commit 5f1e1efdc1086badc00d8fbbd9dac0f54016e7a0
1 parent
3f4d1a00
docs(p4): 新增 27-P4 并行执行与产物索引设计
■ 关于编号 原「P4 回退 + Loop-Validator」已并入 P3 实现完毕(c3abf4a:双层熔断、五项结构 校验含 fail-fallback-edge、三层暂停级联、contract_hash 重试判据)。本文档回收 这个空出来的编号,装 P3 明确排除、现在成为最大能力缺口的内容。 ■ 核心:fan-out 并行 P3 把图结构和 join 语义都做好了,唯独没做并行本身: - graph-engine.js:1078 出边评估「所有入边满足才置 ready」——fan-in join 正确 - graph-engine.js:908 拾取 SQL 是 LIMIT 1——三个并行分支只会一个个串行跑掉 设计为 advanceBatch(runId, {maxConcurrency}),不新增第二个推进原语: 手动模式 maxConcurrency=1 时行为与今天的 advanceOne 完全一致,P3 已有调用方 和测试不用改;自动模式一次拾取整批。批量拾取必须在一个事务里一次性置 running, 否则两个并发 advanceBatch 会拾取到重叠集合。 ■ 走查发现的关键事实:隔离挂载点已经存在 session-pool.js:29 的 getKey(agentName, agentConfig, workDir, scope) 签名里 早就预留了 scope 参数,但第 45 行实际调用时没传。所以「同一 agent 多实例隔离」 这个并行前置条件的改动量比预想小得多——用 graph_run_nodes.id 作 scope 即可。 连带要放宽 CONVENTIONS §12 第一条不变量:(pid, agent) → (pid, agent, scope)。 这是 P4 里唯一要动 DevLoop 规格的地方,且 _spec/ 是生成物,必须改 HTML 后跑 npm run spec:extract。该放宽同时是 P6 的前置——DevLoop runProject 波内串行 (loop-controller.js:609 注释「串行跑」)正是被同一条不变量挡住的。 ■ 产物统一目录 + files.json 这是此前提出但一直未实现的需求。按 task 分目录 data/companies/{cid}/tasks/{taskId}/,根目录 files.json 作统一检索索引, 由引擎在产物落盘后自动追加(不靠 agent 自觉写,否则索引必然漂移), 并支持从 graph_run_nodes 行 rebuild。与 output_ref 不重复:后者是节点级指针, 前者是公司级聚合视图,由前者派生。 ■ 三个阶段,C 完全独立 A 隔离(T1-T2) → B 并行(T3-T6,T10);C 产物索引(T7-T9) 与 A/B 无依赖,可最先做。 并发上限对齐 plan-cost-concurrency.md §④ 的既有数字(run≤5 / 公司≤3 / 单机≤20 session),不另立一套。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Showing
6 changed files
with
325 additions
and
1 deletions
docs/todo/system-design/27-graph-agent-architecture.md
| ... | ... | @@ -229,6 +229,7 @@ CREATE TABLE work_graph_edges ( |
| 229 | 229 | | **P2 Org Graph** | `company.json.agents[]` 迁移为图结构 | `org_graph_nodes`/`edges` 落地;HR/CEO 招聘走新表。细化需求与设计见 [27-P2 Org Graph 落地](./27-p2-org-graph.md) | 现有 Company Dashboard 前端能正确读出 org graph 并渲染(哪怕暂时按列表展示) | |
| 230 | 230 | | **P3+P4 图执行引擎与执行控制台**(**两个 Phase 已合并**) | **一套引擎同时驱动 org graph 与 work graph**(R-15.4 引擎泛化),带回退与熔断 | 定义层 `work_graphs`/`work_graph_nodes`/`work_graph_edges` + **两层共用的运行时层** `graph_runs`/`graph_run_nodes`/`graph_run_loop_records`(共五张新表);`graph-engine.js` 的 `advanceOne(runId)` 幂等推进原语 + 两种 node executor(`agent_call` / `subgraph`);五个控制操作(启动 / 下一步 / 暂停 / 停止 / 重试)× 手动·自动两种模式;`GraphConsole.vue` 执行控制台页面;`workgraph-planning` agent + 用户→公司任务入口。细化需求与设计见 [27-P3/P4 Work Graph 执行控制台](./27-p3-p4-work-graph-console.md) **v0.3**,落地切成**五个可独立验收的阶段**(0 验收契约 / A 引擎地基 / B 回退熔断 / C 控制台 / D 规划闭环) | 见该文档 §六 的 17 条。**核心验收点是第 6 条**:一张 `graph_kind='org'` 的图与一张 work graph 用**同一套端点、同一条代码路径**跑通「手动逐步 / 自动跑完 / 暂停恢复 / 停止」;外加第 8 条「总是失败的节点第 4 次 `force_terminated` 收敛到 `blocked`」、第 17 条「一句自然语言任务两层跑到 `completed`」 | |
| 231 | 231 | | ~~**P4 回退 + Loop-Validator**~~ | **已并入上一行**,不再单列 | 合并理由见 [27-P3/P4](./27-p3-p4-work-graph-console.md) §二:执行引擎一旦要支持「暂停/单步/停止/重试」这种可被外部随时打断的控制语义,「先做单向、再加回退」会让第一版状态机设计得过窄,P4 加回退时必然回来重改数据模型和主循环。**两处定案变更**:① 熔断改为**引擎无条件做的整数计数**(单边 `loop_count > 3` + run 级 `backward_count > 5` 双层硬顶),不依赖 LLM,`loop_validator` 节点由「强制」降级为**可选增强**;② 结构校验从四项扩到**五项**,新增 `fail-fallback-edge`(有 `fail` 出边的节点必须留一条 `fail_reason IS NULL` 兜底边),org / work 两层都加 | 同上 | |
| 232 | +| **P4 并行执行与产物索引**(**回收编号**) | fan-out 真并发 + 产物统一索引 | `advanceBatch` 批量拾取(手动模式退化为 `maxConcurrency=1`,行为与 P3 一致);同 agent 多实例隔离(启用 `SessionPool.getKey` 已预留但从未使用的 `scope` 参数);解除「一家公司一个 active root run」;`data/companies/{cid}/tasks/{taskId}/` 产物目录 + `files.json` 检索索引。细化设计见 [27-P4 并行执行与产物索引](./27-p4-parallel-and-artifacts.md) | 3 个并行分支同时 running 且总墙钟明显短于串行;部分失败时 fan-in 停等且可视化「在等谁」;`files.json` 可从节点行 rebuild | | |
| 232 | 233 | | **P5 自我进化** | 公共记忆蒸馏机制 | 公共 `memory.md` 写入走自省校验 + git 版本化;company-scoped → public 的升级门槛复用现有 benchmark ≥95 链路 | 同一 public agent 被两家公司调用后,`memory.md` 有可观察的增量更新,且能 git revert 到升级前版本 | |
| 233 | 234 | | **P6(~~可选~~ **应前置**)DevLoop 收编** | 统一循环逻辑 | 把 `loop-controller.js`/`unit-registry.js` 重构为 Work Graph 引擎上的一个具体图模板。⚠️ **定位修正**:端到端流程梳理后发现 DevLoop 不是"将来可选整合的边缘子系统",而是**本架构唯一一个已经跑通的参考实现**——它的 L1/L2/L3 三层循环、四分类失败归因、分级预算熔断、`contract_hash` 闸门、DAG 分波、SSE 埋点、前端 DAG 组件都已实现或已有完整规格(`docs/prd/newfunction/_spec/`)。通用 Work Graph 引擎应当**从它抽象而来**,而不是平行发明后再回头合并。详见 [27-E2E](./27-e2e-task-execution-flow.md) §二结论 2 | DevLoop 现有测试套件(`server/tests/devloop/**`)在新引擎上全部通过,无需单独维护两套循环代码 | |
| 234 | 235 | |
| ... | ... | @@ -264,4 +265,5 @@ P0 阶段的处理方式是**迁移脚本层面的临时保护**:`system_agent |
| 264 | 265 | - **[27-EXAMPLE 参考场景走查](./27-example-dev-company-walkthrough.md)** — 把上面那套架构在一家具体公司上跑一遍数(含各阶段真实形态的 JSON / 图 / 成本估算 / 断点清单)。实现时的靶子与端到端验收场景。 |
| 265 | 266 | - [27-P1 虚拟引用寻址](./27-p1-virtual-reference.md) — 已实现(commit `226489d`) |
| 266 | 267 | - [27-P2 Org Graph 落地](./27-p2-org-graph.md) — 设计稿 |
| 267 | -- [27-P3/P4 Work Graph 执行控制台](./27-p3-p4-work-graph-console.md) — 设计稿 | |
| 268 | +- [27-P3/P4 Work Graph 执行控制台](./27-p3-p4-work-graph-console.md) — 已实现(commit `c3abf4a`) | |
| 269 | +- [27-P4 并行执行与产物索引](./27-p4-parallel-and-artifacts.md) — 设计稿 | ... | ... |
docs/todo/system-design/27-p4-parallel-and-artifacts.md
0 → 100644
| 1 | +# 27-P4. 并行执行与产物索引 | |
| 2 | + | |
| 3 | +> **所属**: [27 Graph Agent 架构](./27-graph-agent-architecture.md) 的 Phase P4 | |
| 4 | +> **版本**: v0.1(设计阶段,未实现) | |
| 5 | +> **日期**: 2026-08-16 | |
| 6 | +> **前置**: P0/P1/P2/P3 均已实现。本文档建立在 P3 已落地的执行引擎之上(`server/services/graph-engine.js` / `work-graph-db.js` / `graph-run-sse.js` / `goal-contract.js`,commit `c3abf4a`)。 | |
| 7 | +> **命名**: 遵循 [27-NAMING](./27-naming-conventions.md),节点名按层级轴(`org-planner` / `org-coder-validator`),本体名不带前缀。 | |
| 8 | +> **配套**: [27-E2E](./27-e2e-task-execution-flow.md) §7.4(fan-out 的两个阻塞点)、[27-EXAMPLE](./27-example-dev-company-walkthrough.md) 阶段 6(fan-out/fan-in 的具体场景) | |
| 9 | + | |
| 10 | +--- | |
| 11 | + | |
| 12 | +## 〇、关于编号:这个 P4 不是原来那个 P4 | |
| 13 | + | |
| 14 | +27 号总纲 §六 里原本的「**P4 回退 + Loop-Validator**」已经**并入 P3 实现完毕**(总纲该行已标注「已并入上一行,不再单列」)——双层熔断、五项结构校验含 `fail-fallback-edge`、三层暂停/停止级联、按 `contract_hash` 判据的重试,全部在 `c3abf4a` 落地。 | |
| 15 | + | |
| 16 | +本文档**回收这个空出来的编号**,装的是 P3 明确排除、且现在成为最大能力缺口的内容。与 P5(自我进化)/ P6(DevLoop 收编)不冲突,是它们之前的一步。 | |
| 17 | + | |
| 18 | +--- | |
| 19 | + | |
| 20 | +## 一、目标与非目标 | |
| 21 | + | |
| 22 | +### 目标 | |
| 23 | + | |
| 24 | +1. **fan-out 并行执行** —— 解除 P3「一次只推进一个节点」的限制,让同一波次的多个 ready 节点真正并发跑。 | |
| 25 | +2. **同一 system agent 的多实例隔离** —— 这是并行的**前置条件**,卡在两个既有不变量上(§三.2)。 | |
| 26 | +3. **解除「一家公司同时只有一个 active root run」约束** —— P3 v1 用一个唯一索引强制它(§三.3),并行能力具备后应放开。 | |
| 27 | +4. **产物统一目录 + `files.json` 索引** —— 所有 org/work graph 节点 agent 的产出物落在 `data/companies/{companyId}/` 下按 task 分目录,根目录 `files.json` 作为输入输出的统一检索入口,供所有 agent 引用。 | |
| 28 | + | |
| 29 | +### 非目标 | |
| 30 | + | |
| 31 | +- **不做 L4**(system agent 自我迭代)—— 属 P5,见 [27-E2E](./27-e2e-task-execution-flow.md) §八。 | |
| 32 | +- **不做 DevLoop 收编** —— 属 P6。 | |
| 33 | +- **不做**跨公司的并行调度(多公司同时跑的全局资源仲裁)—— 本阶段并发上限按「单机总量」控制即可,见 §四.4。 | |
| 34 | +- **不做**节点执行中途的断点续传 —— 沿用 P3 的重试语义(整个节点重跑)。 | |
| 35 | +- **不做**把 `conversations/` 与 `system/tasklog/` 下的历史记录纳入 `files.json` —— 那是运行态日志,不是产物。 | |
| 36 | + | |
| 37 | +--- | |
| 38 | + | |
| 39 | +## 二、背景:为什么并行是现在最大的缺口 | |
| 40 | + | |
| 41 | +[27-EXAMPLE](./27-example-dev-company-walkthrough.md) 阶段 6 描述的典型场景是:`org-coder` 把工作拆成三个可并行的 unit,各自跑完再 fan-in 到整合节点。这是 R-6 原话里明确要求的(「可以 fan out 并行多个 phase 的 code subagent」)。 | |
| 42 | + | |
| 43 | +**P3 把图结构和 join 语义都做好了,唯独没做并行本身**: | |
| 44 | + | |
| 45 | +- ✅ `graph-engine.js:1078` —— 出边评估时「目标节点若**所有**入边条件都满足则置 ready」,fan-in 的 join 语义已经正确。 | |
| 46 | +- ✅ 图上可以有多个节点同时处于 `ready`。 | |
| 47 | +- ❌ `graph-engine.js:908` —— 拾取 ready 节点的 SQL 是 `... WHERE status = 'ready' ORDER BY created_at, id **LIMIT 1**`。所以三个并行分支只会被一个一个串行跑掉。 | |
| 48 | + | |
| 49 | +也就是说,**图已经是 DAG,波次也分得出来,只是每次只走一个节点**。这不是设计缺陷,是 P3 刻意的范围切分——因为并行会立刻撞上 §三.2 的两个不变量。 | |
| 50 | + | |
| 51 | +--- | |
| 52 | + | |
| 53 | +## 三、现状代码走查(决定设计边界的关键证据) | |
| 54 | + | |
| 55 | +### 3.1 引擎侧:单节点拾取 | |
| 56 | + | |
| 57 | +`server/services/graph-engine.js:908`: | |
| 58 | + | |
| 59 | +```sql | |
| 60 | +SELECT * FROM graph_run_nodes WHERE run_id = ? AND status = 'ready' | |
| 61 | + ORDER BY created_at, id LIMIT 1 | |
| 62 | +``` | |
| 63 | + | |
| 64 | +`advanceOne(runId)` 的语义是「拾取**一个** ready 节点 → running → 执行 → 评估出边 → 把满足条件的下游置 ready → 返回,**不循环往下跑**」(文件头注释 16-17 行)。手动模式一次点击一步、自动模式靠外层反复调用,两者共用同一原语——这个设计在 P4 要保留,只是原语从「一个」变成「一批」。 | |
| 65 | + | |
| 66 | +### 3.2 两个阻塞不变量(并行的真正门槛) | |
| 67 | + | |
| 68 | +**① `CONVENTIONS.md:155`**: | |
| 69 | + | |
| 70 | +> 任意 `(pid, agent)` 同时只允许 1 个 status=running | |
| 71 | + | |
| 72 | +如果并行跑三个 `org-coder` 的子任务,它们是**同一个 system agent 的三次调用**,直接违反这条。 | |
| 73 | + | |
| 74 | +**② `session-pool.js:29-32`** 的会话 key: | |
| 75 | + | |
| 76 | +```js | |
| 77 | +getKey(agentName, agentConfig, workDir, scope) { | |
| 78 | + const base = `acp:${agentName}:${agentConfig.client}:${agentConfig.deploy}:${workDir}`; | |
| 79 | + return scope ? `${base}:${scope}` : base; | |
| 80 | +} | |
| 81 | +``` | |
| 82 | + | |
| 83 | +同 agent 同 workDir 会**复用同一个 session**。并发调用会撞在一起——两个并行分支的对话会互相污染上下文。 | |
| 84 | + | |
| 85 | +💡 **关键发现**:`getKey` 的签名**已经预留了 `scope` 参数**,但第 45 行实际调用时是 `this.getKey(agentName, agentConfig, workDir)`——**没传**。也就是说隔离机制的挂载点已经在,只是从未被使用。这让 P4 的改动比预想小得多。 | |
| 86 | + | |
| 87 | +### 3.3 一家公司只允许一个 active root run | |
| 88 | + | |
| 89 | +`work-graph-db.js:108-110`: | |
| 90 | + | |
| 91 | +```sql | |
| 92 | +CREATE UNIQUE INDEX IF NOT EXISTS idx_graph_runs_one_active_root | |
| 93 | + ON graph_runs(company_id) | |
| 94 | + WHERE parent_run_id IS NULL AND run_status IN ('ready','running','paused'); | |
| 95 | +``` | |
| 96 | + | |
| 97 | +`company.js:1188` 的注释写明这是「v1 约束(27-P3P4 §一非目标)」。注意**这条约束在 org 层就存在**,不是等到 work 层 fan-out 才需要——因为 org graph 本身也是被这套引擎跑的。 | |
| 98 | + | |
| 99 | +### 3.4 现成的 fan-out 实现(可借鉴,但不在图引擎里) | |
| 100 | + | |
| 101 | +`orchestrator.js:265` 的 `executeWithDependencies()`:`Scheduler.getExecutionGroups()` 按 `dependsOn` 分组 → `Promise.allSettled` 组内并行、组间串行(天然 fan-in 屏障)→ 单点失败降级成 `{status:'ERROR', retryable}` 而不终结整组。 | |
| 102 | + | |
| 103 | +这套东西**图引擎没有用**(消费方只有 orchestrator 和 result-tracker)。P4 不必直接复用它的代码,但**它的错误降级策略值得照搬**:单个分支失败不应该让整批一起崩。 | |
| 104 | + | |
| 105 | +### 3.5 并发上限的既有约定 | |
| 106 | + | |
| 107 | +`docs/prd/newfunction/_spec/plan-cost-concurrency.md` §④ 已经给出三层上限的数字,P4 应当对齐而不是另立一套: | |
| 108 | + | |
| 109 | +| 层级 | 上限 | 原因 | | |
| 110 | +|---|---|---| | |
| 111 | +| 项目内 L1 并行 | ≤ 5 | 每个 Claude CLI ≈ 100MB RAM + 1 CPU core | | |
| 112 | +| 单机系统并发 | ≤ 20 个 ACP session | 合理 RAM 占用 ≈ 2GB | | |
| 113 | +| 同 company 项目并发 | ≤ 3 | 避免单用户挤占 | | |
| 114 | +| Bash 子进程 | ≤ 50 | 防 fork bomb | | |
| 115 | + | |
| 116 | +### 3.6 产物目录现状 | |
| 117 | + | |
| 118 | +- ✅ `goal-contract.js` 已实现验收契约的跨节点传递(R-15.6 验收先行)。 | |
| 119 | +- ✅ `graph-engine.js:283/407/444` 有节点级产物路径:`data/companies/{cid}/agents/{systemAgentId}/.../attempt-{n}.json`。 | |
| 120 | +- ❌ **没有 `files.json`**(全仓库无此文件、代码无引用)。 | |
| 121 | +- ❌ 产物按 **agent** 分目录,不是按 **task** 分目录——同一 agent 在不同任务下的产出混在一起。 | |
| 122 | + | |
| 123 | +--- | |
| 124 | + | |
| 125 | +## 四、设计方案 | |
| 126 | + | |
| 127 | +### 4.1 `advanceOne` → `advanceBatch`(保持原语单一) | |
| 128 | + | |
| 129 | +**不新增第二个推进原语**。P3 「手动与自动共用同一个 advanceOne」的设计要保留,只把「拾取一个」放宽为「拾取一批」: | |
| 130 | + | |
| 131 | +```js | |
| 132 | +// 拾取至多 N 个 ready 节点(N = 本 run 的有效并发额度,见 4.4) | |
| 133 | +advanceBatch(runId, { maxConcurrency }) → { results: [...], activated: [...] } | |
| 134 | +``` | |
| 135 | + | |
| 136 | +- **手动模式**:`maxConcurrency = 1`,行为与今天的 `advanceOne` 完全一致——「下一步」仍然只推进一个节点,用户能看清每一步。 | |
| 137 | +- **自动模式**:`maxConcurrency = 有效额度`,一次拾取整批并发跑。 | |
| 138 | +- `advanceOne(runId)` 保留为 `advanceBatch(runId, {maxConcurrency: 1})` 的薄封装,P3 已有的调用方和测试不用改。 | |
| 139 | + | |
| 140 | +**拾取的原子性**:P3 的幂等靠 `WHERE status='ready'` 条件更新(受影响行数=0 即视为被别人拿走)。批量拾取要沿用同一手法——**在一个事务里把这批节点一次性置 `running`**,而不是先 SELECT 再逐个 UPDATE,否则两个并发的 `advanceBatch` 会拾取到重叠的集合。 | |
| 141 | + | |
| 142 | +### 4.2 同一 agent 的多实例隔离 | |
| 143 | + | |
| 144 | +**这是并行的前置条件,必须先做。** | |
| 145 | + | |
| 146 | +利用 §三.2 发现的现成挂载点——`SessionPool.getKey()` 的 `scope` 参数: | |
| 147 | + | |
| 148 | +```js | |
| 149 | +// 图引擎调用 AgentManager 时带上 scope,取值用节点运行实例 id(graph_run_nodes.id) | |
| 150 | +// 同一 system agent 的两次并发调用因此落在两个不同的 session 上,互不污染 | |
| 151 | +const scope = `gr:${nodeRunId}`; | |
| 152 | +``` | |
| 153 | + | |
| 154 | +**为什么用 `graph_run_nodes.id` 而不是 `def_node_id`**:同一个定义节点在重试时会有多次 attempt,但同一时刻只有一个在跑;而并行的是**不同定义节点**引用同一本体。用运行实例 id 天然满足「并发的两个调用一定拿到不同 scope」。 | |
| 155 | + | |
| 156 | +**`CONVENTIONS.md` §12 第一条不变量要相应放宽**: | |
| 157 | + | |
| 158 | +``` | |
| 159 | +旧:任意 (pid, agent) 同时只允许 1 个 status=running | |
| 160 | +新:任意 (pid, agent, scope) 同时只允许 1 个 status=running | |
| 161 | +``` | |
| 162 | + | |
| 163 | +⚠️ 这条不变量属于 DevLoop 的规格文件。改它意味着**修改 `docs/prd/newfunction/*.html` 再跑 `npm run spec:extract`**(`_spec/` 是生成物,不能手改,pre-commit hook 会拦)。这是 P4 里唯一一处要动 DevLoop 规格的地方,且只是放宽维度、不改语义。 | |
| 164 | + | |
| 165 | +**workDir 保持不变**:仍然是 agent 的私有目录。P1 §3.3 已论证过 `workDir` 必须指向私有目录(CLI 子进程以它为 cwd 读 `soul.md` 等相对路径文件),并行不改变这一点——隔离靠 session scope,不靠换目录。 | |
| 166 | + | |
| 167 | +### 4.3 部分失败的 fan-in 语义 | |
| 168 | + | |
| 169 | +三个并行分支,2 成功 1 失败,fan-in 节点怎么办? | |
| 170 | + | |
| 171 | +**沿用 P3 已实现的 join 语义,不加特例**:`graph-engine.js:1078` 的规则是「所有入边条件都满足才置 ready」。失败的那条分支走的是 `fail` 边,不满足 fan-in 节点的 `success` 入边条件,所以 **fan-in 节点不会被点亮**,图停在那里——这正是期望行为。 | |
| 172 | + | |
| 173 | +需要补的是**可观测性**,不是新语义: | |
| 174 | + | |
| 175 | +- run 层面要能回答「我卡在等哪几个节点」。控制台已有的节点状态足以推导,但要在 UI 上显式标出「fan-in 节点 `X` 在等 `A`(fail) / `B`(success) / `C`(success)」,否则用户只看到「不动了」。 | |
| 176 | +- 失败分支按 P3 既有路径处理(`fail` 出边 → 归因 → 回退或 blocked),P4 不改。 | |
| 177 | + | |
| 178 | +### 4.4 并发额度:三层,逐层取小 | |
| 179 | + | |
| 180 | +对齐 §三.5 的既有数字,不另立一套: | |
| 181 | + | |
| 182 | +| 层级 | 上限 | 落在哪 | | |
| 183 | +|---|---|---| | |
| 184 | +| **单个 run** | 默认 5 | `graph_runs` 新增 `max_concurrency` 列,建 run 时写入,可按任务覆盖 | | |
| 185 | +| **单公司** | 默认 3 个 active root run | 替换 §三.3 那个「只允许 1 个」的唯一索引 | | |
| 186 | +| **单机** | ≤ 20 个 ACP session | `SessionPool` 加 `maxSessions`(`plan-cost-concurrency.md` §④ 已经提出要加这个配置,至今未加) | | |
| 187 | + | |
| 188 | +**有效额度 = min(三层剩余)**。`advanceBatch` 拾取前先算这个值,为 0 就本轮不拾取(不是报错,等下一轮)。 | |
| 189 | + | |
| 190 | +**任务级总预算不变**:P3 已实现「按 root_run_id 共池的 backward_count + 任务级预算挂 root run」,并行不改变预算语义——**并行只是让预算烧得更快**,这一点要在控制台的成本提示里体现。 | |
| 191 | + | |
| 192 | +### 4.5 解除单 root run 约束 | |
| 193 | + | |
| 194 | +```sql | |
| 195 | +-- 替换 work-graph-db.js:108 的 idx_graph_runs_one_active_root | |
| 196 | +DROP INDEX IF EXISTS idx_graph_runs_one_active_root; | |
| 197 | +-- 不再用唯一索引硬限,改为建 run 时按 4.4 的「单公司额度」做计数检查 | |
| 198 | +``` | |
| 199 | + | |
| 200 | +**为什么从「索引强制」改为「计数检查」**:唯一索引只能表达「≤1」,表达不了「≤3」。计数检查要放在**同一个事务**里(先 `SELECT COUNT(*)` 再 `INSERT`),否则并发建 run 会超额。 | |
| 201 | + | |
| 202 | +### 4.6 产物统一目录 + `files.json` | |
| 203 | + | |
| 204 | +**目录约定**(用户要求的第 3 项,P3 未实现): | |
| 205 | + | |
| 206 | +``` | |
| 207 | +data/companies/{companyId}/ | |
| 208 | + files.json ← 统一检索索引(本节重点) | |
| 209 | + tasks/{taskId}/ | |
| 210 | + brd.md org-planner 的 work graph 里 brd-planning 节点的产出 | |
| 211 | + prd.md | |
| 212 | + sdd.md | |
| 213 | + acceptance.json 验收契约(goal-contract.js 已有,路径归并到这里) | |
| 214 | + {nodeName}/ 节点私有的中间产物(attempt-{n}.json 等) | |
| 215 | +``` | |
| 216 | + | |
| 217 | +**为什么按 task 分目录而不是平铺在公司根目录**:同一家公司会跑很多个 task,平铺的话第二个 task 的 `prd.md` 会覆盖第一个。按 task 分目录既避免覆盖,也保留历史。 | |
| 218 | + | |
| 219 | +**`files.json` 的形态**: | |
| 220 | + | |
| 221 | +```jsonc | |
| 222 | +{ | |
| 223 | + "version": "1", | |
| 224 | + "companyId": "auto-illust", | |
| 225 | + "files": [ | |
| 226 | + { | |
| 227 | + "path": "tasks/T-abc/prd.md", // 相对 data/companies/{cid}/ | |
| 228 | + "kind": "prd", // brd | prd | sdd | acceptance | artifact | log | |
| 229 | + "taskId": "T-abc", | |
| 230 | + "producedBy": { // 谁产出的 | |
| 231 | + "runId": "gr_xxx", "nodeName": "org-planner-prd", "systemAgentId": "prd-planning" | |
| 232 | + }, | |
| 233 | + "consumedBy": ["org-coder", "org-validator"], // 声明式:谁应该读它 | |
| 234 | + "createdAt": "2026-08-16T...", | |
| 235 | + "supersedes": "tasks/T-abc/prd.md@rev1" // 同名产物的版本链,可空 | |
| 236 | + } | |
| 237 | + ] | |
| 238 | +} | |
| 239 | +``` | |
| 240 | + | |
| 241 | +**谁写**:引擎在节点产出落盘后**自动追加**一条——不能靠 agent 自觉写,否则索引必然和实际文件漂移。这与 [27-P3/P4] 里 `output_ref` 的写入时机相同,是同一处扩展。 | |
| 242 | + | |
| 243 | +**谁读**:所有 node agent。在 prompt 里注入一句「本公司的产物索引在 `files.json`,按 `kind`/`taskId` 检索你需要的输入」,取代现在靠约定路径硬拼的方式。 | |
| 244 | + | |
| 245 | +**与 `output_ref` 的关系**:`output_ref` 是**节点级**的产物指针("我这次跑出了什么"),`files.json` 是**公司级**的检索索引("这家公司有哪些产物、谁能用")。两者不重复:前者一对一挂在 `graph_run_nodes` 行上,后者是聚合视图。**`files.json` 由 `output_ref` 派生**,所以需要一个 rebuild 能力(索引损坏时可从节点行重建),类比 `_index.json` 的 `_rebuildIndex()`。 | |
| 246 | + | |
| 247 | +--- | |
| 248 | + | |
| 249 | +## 五、任务划分 | |
| 250 | + | |
| 251 | +| # | 任务 | 文件 | 依赖 | | |
| 252 | +|---|---|---|---| | |
| 253 | +| **T1** | `SessionPool` 加 `maxSessions` 上限 + 调用方传 `scope`(`gr:{nodeRunId}`) | `server/src/core/session-pool.js`、`server/src/core/agent-manager.js` | 无 | | |
| 254 | +| **T2** | DevLoop 规格:§12 第一条不变量放宽为 `(pid, agent, scope)`。**改 HTML 后必须跑 `npm run spec:extract`** | `docs/prd/newfunction/*.html` | 无 | | |
| 255 | +| **T3** | `graph_runs` 加 `max_concurrency` 列;DROP `idx_graph_runs_one_active_root`,改为事务内计数检查 | `server/services/work-graph-db.js` | 无 | | |
| 256 | +| **T4** | `advanceBatch(runId, {maxConcurrency})`:事务内批量拾取并置 running;`advanceOne` 降级为薄封装 | `server/services/graph-engine.js` | T3 | | |
| 257 | +| **T5** | 并发额度计算(三层取小)+ 额度为 0 时的等待语义 | `server/services/graph-engine.js` | T1, T3, T4 | | |
| 258 | +| **T6** | 并行执行 + 错误降级(照搬 `orchestrator.executeWithDependencies` 的 `Promise.allSettled` 策略,单分支失败不终结整批) | `server/services/graph-engine.js` | T4 | | |
| 259 | +| **T7** | `files.json` 服务:追加、查询、rebuild | `server/services/company-files-index.js`(新增) | 无,可并行 | | |
| 260 | +| **T8** | 产物落盘路径改为 `tasks/{taskId}/`;节点产出后自动写 `files.json` | `server/services/graph-engine.js`、`goal-contract.js` | T7 | | |
| 261 | +| **T9** | node agent 的 prompt 注入 `files.json` 检索说明 | `system/templates/base/agent.md` 等 | T7 | | |
| 262 | +| **T10** | 控制台:fan-in 等待态可视化(「在等哪几个节点」)+ 并行运行中的多节点高亮 | `web/src/views/GraphConsole.vue` | T6 | | |
| 263 | +| **T11** | 测试:批量拾取的并发幂等(两个 `advanceBatch` 不拾取重叠集合)、部分失败的 fan-in 停等、额度上限生效、`files.json` rebuild 一致性 | `server/tests/unit/` | T4-T8 | | |
| 264 | + | |
| 265 | +### 三个阶段 | |
| 266 | + | |
| 267 | +| 阶段 | 含 | 交付 | 可否独立上线 | | |
| 268 | +|---|---|---|---| | |
| 269 | +| **A · 隔离** | T1, T2 | 同一 agent 可安全并发调用 | ✅ 可以,此时引擎仍串行,但隔离能力已具备 | | |
| 270 | +| **B · 并行** | T3-T6, T10 | fan-out 真正并发;解除单 root run 约束 | ✅ 依赖 A | | |
| 271 | +| **C · 产物索引** | T7-T9 | `files.json` + 按 task 分目录 | ✅ **完全独立于 A/B**,可最先做 | | |
| 272 | + | |
| 273 | +**阶段 C 与 A/B 无依赖**,如果想先看到效果,可以先做 C(它是用户明确要求过的第 3 项)。 | |
| 274 | + | |
| 275 | +--- | |
| 276 | + | |
| 277 | +## 六、验收标准 | |
| 278 | + | |
| 279 | +1. **并发隔离**:同一 system agent 被两个并行节点同时调用,两次对话的上下文互不污染(各自有独立 session)。 | |
| 280 | +2. **批量拾取幂等**:并发调用两次 `advanceBatch`,拾取到的节点集合无交集,且没有节点被漏掉。 | |
| 281 | +3. **fan-out 真并行**:一张有 3 个并行分支的图,自动模式下三个节点同时处于 `running`(而不是依次),且总墙钟明显短于串行。 | |
| 282 | +4. **部分失败停等**:3 个并行分支中 1 个失败时,fan-in 节点保持 `pending` 不被点亮;控制台能显示「在等哪几个节点」。 | |
| 283 | +5. **额度生效**:`max_concurrency=2` 的 run 上有 5 个 ready 节点时,同时 running 的不超过 2 个。 | |
| 284 | +6. **单公司多 run**:同一公司可同时有 3 个 active root run,第 4 个被拒绝且错误信息明确。 | |
| 285 | +7. **手动模式不变**:`maxConcurrency=1`,「下一步」行为与 P3 完全一致(P3 已有测试全绿)。 | |
| 286 | +8. **`files.json`**:节点产出后索引自动追加;删掉 `files.json` 后 rebuild 能从节点行完整重建;两个 task 的同名产物(都叫 `prd.md`)不互相覆盖。 | |
| 287 | + | |
| 288 | +--- | |
| 289 | + | |
| 290 | +## 七、影响面 | |
| 291 | + | |
| 292 | +| 文件 | 改动 | | |
| 293 | +|---|---| | |
| 294 | +| `server/src/core/session-pool.js` | `maxSessions` 上限;`getKey` 的 `scope` 参数实际启用 | | |
| 295 | +| `server/src/core/agent-manager.js` | 调用 `getKey` 时传 `scope` | | |
| 296 | +| `server/services/work-graph-db.js` | `graph_runs.max_concurrency` 列;DROP 单 root run 唯一索引 | | |
| 297 | +| `server/services/graph-engine.js` | `advanceBatch`;额度计算;并行执行与错误降级;产物路径改 `tasks/{taskId}/` | | |
| 298 | +| `server/services/company-files-index.js` | 新增 | | |
| 299 | +| `server/services/goal-contract.js` | 契约文件路径归并到 `tasks/{taskId}/` | | |
| 300 | +| `web/src/views/GraphConsole.vue` | fan-in 等待态、多节点并行高亮 | | |
| 301 | +| `docs/prd/newfunction/*.html` | §12 不变量放宽(**改完必须跑 `npm run spec:extract`**) | | |
| 302 | +| `system/templates/base/agent.md` | `files.json` 检索说明 | | |
| 303 | + | |
| 304 | +**明确不改**:P3 的 join 语义(`graph-engine.js:1078` 已正确)、熔断与预算语义、手动/自动共用同一原语的设计、`workDir` 指向私有目录的约定(P1 §3.3 已论证)。 | |
| 305 | + | |
| 306 | +--- | |
| 307 | + | |
| 308 | +## 八、风险 / Open Questions | |
| 309 | + | |
| 310 | +1. **并行让预算烧得更快,但预算语义不变**。任务级总预算是「只增不减的共池」(P3 已实现),并行不改变总量,只改变消耗速率。**控制台的成本提示需要相应更新**——用户点「自动」时看到的预估时间会大幅缩短,但花费不变。 | |
| 311 | +2. **改 DevLoop 规格的连带风险**(T2)。§12 第一条不变量是 DevLoop 的,放宽它理论上不影响 DevLoop 自身(它的 `runProject` 波内本来就是串行的),但**必须跑一遍 DevLoop 全部测试**确认。 | |
| 312 | +3. **`maxSessions` 上限触顶时的行为未定**。额度为 0 时是「等待下一轮」还是「拒绝并报错」?本文档 §4.4 选了前者(不报错、等下一轮),但如果一个 run 长期抢不到额度会静默卡住——需要一个「等待超时」告警,否则表现为「不动了」。**留待实现时定阈值。** | |
| 313 | +4. **`files.json` 的并发写入**。并行节点会同时追加索引,需要串行化(文件锁或走 SQLite)。本文档设计的是 JSON 文件形态(符合用户要求「一个 files.json 文件」),但**并发追加是真实风险**——可能需要退化为「引擎内单写者队列」。 | |
| 314 | +5. **`files.json` 与 `consumedBy` 的准确性**。`consumedBy` 是**声明式**的(规划时写「谁应该读它」),不是实测的。如果规划错了,索引会误导下游 agent。缓解:把它当提示而非约束,agent 仍可读任何 `files.json` 里的条目。 | |
| 315 | + | |
| 316 | +--- | |
| 317 | + | |
| 318 | +## 九、与其他阶段的关系 | |
| 319 | + | |
| 320 | +- **P3**:本阶段完全建立在 P3 的引擎之上,不推翻任何 P3 决策。P3 的「手动/自动共用同一原语」「join 语义」「熔断与预算」「三层暂停级联」全部保留。 | |
| 321 | +- **P5(自我进化 / L4)**:无依赖,可并行推进。但 L4 的「agent dream 离线批处理」会受益于 `files.json`——跨公司汇总当日执行经验时,产物索引是天然的输入源。 | |
| 322 | +- **P6(DevLoop 收编)**:T2 放宽的不变量是 P6 的前置——DevLoop 的 `runProject` 波内串行(`loop-controller.js:609` 注释 `// 串行跑`)正是被同一条不变量挡住的,P4 做完后 DevLoop 自己也能并行。 | ... | ... |
system/templates/validator-reflection/agent.md renamed to system/templates/validator-triager/agent.md
system/templates/validator-reflection/config.json renamed to system/templates/validator-triager/config.json
system/templates/validator-reflection/soul.md renamed to system/templates/validator-triager/soul.md
system/templates/validator-reflection/tools.md renamed to system/templates/validator-triager/tools.md