evolve_report.md
7.51 KB
Evolve 总结报告 v1 — workgraph-planning-methodology-trial
首次训练(v1)。目标 Agent:workgraph-planning-methodology-trial(独立试验节点)。 上游:Hunt(`train/hunt/knowhowv1.md
)+ Digest(train/digest/` 四份)已验收通过。
一、最终分数
100/100(digest/benchmark_v1.md,D1=5/D2=5/D3=5/D4=5/D5=5,无否决/无封顶),
2 轮迭代(Small Loop 上限10轮,实际用2轮即达标,见 iteration_log.md)。
及格线65、目标线80(digest/industry_avg_score.md)均已超过。
对照基线:
- 真实基线(
workgraph-planning/agent.mdStep4 现状,无新规则)= 34分,不合格档; - 候选(a)(同义反复型构造样本)= 15分,不合格档;
- 候选(b)(信号驱动型构造样本,训练起点)= 90分,优秀档,但有 2 处已知缺口;
- 本次产出(v1定稿)= 100分,优秀档,已闭合候选(b)的 2 处已知缺口,并在样本 验证过程中额外自我发现并修复 2 处候选(b)未被发现的结构漏洞。
二、相比候选(b)的具体改进点
2.1 闭合任务书指出的 2 个已知缺口
- D2 缺口(未穷举 25 信号组合):候选(b)只用一条"S4=否且S2=是且S1=1"
的 AND 条件命中裁剪分支,其余组合(如任务书举例的
S3=否且S5=否且S4=是) 靠"默认保留"这条兜底句隐性推断,不是显式映射。本次改为「G2/G3 短路门 + BRD 8行折叠判定表」结构:G2 吸收全部 S3=是 的情形,G3 吸收全部可复用先例 的情形,剩余空间只需要对S1×S2×S4(8种组合)显式判定,用 4 行折叠表 完整覆盖(S4=是折叠4种、S1≥2折叠2种、S1=1按S2拆2种,4+2+1+1=8无遗漏)。 PRD/benchmark/validator 三个节点给出与信号组合无关的常量输出,SDD 只系于 S1 二值。整个信号空间理论上被证明式地穷举,而不是"举了几个例子+兜底句"。 - D4 缺口(benchmark/validator 缺专属规则):候选(b)对这两个节点只在
"默认保留"和 S3=是 分支里被动提及,没有单独展开。本次为两者各给出独立
小节(
SKILL.md§2.4/§2.5),分别给出结构性理由:benchmark 的产物 被本图之外的另一张图(org-validator宿主的validator.json)跨图消费, 裁掉是跨图断供;validator 是四张骨架共有的"自检"步骤,裁掉会让文档内部 矛盾无检查地流向下游。两条理由都独立于 S1-S5 信号,且各自有 hunt/digest 原文出处支撑,不是"因为没想到裁剪理由所以干脆说不裁"的敷衍。
2.2 自我验证过程中额外发现并修复的 2 处漏洞(候选(b)也未发现)
这两处不在任务书列出的已知缺口清单里,是本次在套用 C4 样本、手工过五项校验
时新发现的(详见 iteration_log.md Round 1 "样本验证发现的问题"):
- 裁 brd 后遗留一条指向不存在节点的 backward 边(
org-planner-prd --fail--> org-planner-brd)。候选(b)和本次 v1 草案都只处理了needs级联,没有意识到裁掉节点还会留下引用它的 backward 边。若不修,图会带着 一条指向不存在节点的边落地,比rule=data-contract拒绝更基础的错误。 本次补了 §四"连带结构修正清单",并显式给出"prd 变新入口后按约束五例外 条款无需自己配兜底边"这条容易被漏掉的推论。 - S5 复用门在当前仓库数据上不可执行。G3 门要求"先例 S1-S4 取值与本次
一致",但本仓库全部历史规划记录都写于 S1-S5 信号体系引入之前,没有一份
标注过信号取值——门本身的判定条件在当下没有任何输入能满足。补了显式
fallback:找不到已标注信号值的先例,一律按
S5=否处理,保证这道门在 任何输入下都有确定出口,不会卡死等待一个永远拿不到的先例数据。
三、局限性(如实说明,不回避)
- 范围边界:本表只回答
planner.json五节点"裁不裁",不涉及骨架间 选型(已由whenToUse字段确定性覆盖)、也不涉及 27-E2E §十一 "goal-benchmark/goal-test-data/goal-test-script 三选一或多选"这层验收 方式选型决策——这层决策 Hunt/Digest 阶段本就未纳入调研范围,本次训练也 没有补充调研,是明确的范围外事项,不是遗漏。 - 真实裁剪正样本仍是 0:
hunt/knowhow_v1.md块C明确指出全公司 5 份 真实规划记录里裁剪发生次数为0,本表在真实世界里还没有一次被真正套用过 并观察到裁剪结果落地成功的案例——两个自验证样本,一个是真实历史案例 (但套用的是"如果当初有这份规则集会怎么判"的回溯推演,不是真实当时就 照此执行过),一个是构造场景。100分是"规则集本身的质量分",不是"已被 生产验证过的可靠性分",这条区别需要在 Evolver/Innovator 后续决策里 保留:建议下一次真实有org-planner宿主节点、且信号组合命中 brd 裁剪 分支的任务出现时,实际按本表执行一次,观察是否真的顺利通过 Step5/Step6, 补一个真正的"生产验证"记录。 - G3 复用门目前形同虚设:如 §二 2.2 所述,在仓库开始按本表标注新规划 记录的信号取值之前,G3 门永远走向 fallback(视为S5=否)。这不是设计 缺陷(门的逻辑本身是对的,只是数据还没准备好),但意味着"复用先例"这条 本该能省判断成本的路径,短期内实际不会被触发,所有任务都要走完整的 逐节点判定,效率上没有达到 S5 信号设计之初设想的"跳过重复判断"的收益。
- SDD"精简"没有可量化的验收标准:§2.3 只说
S1=1时 SDD 内容可以 "精简",但没有给出精简到什么程度算合格、什么程度算偷工减料的量化标准 (比如"至少要写几段/覆盖哪几类技术决策")。这是因为 hunt/digest 阶段 同样没有对"SDD内容深度"这件事做过调研,本次训练不打算在缺乏调研支撑的 情况下凭空编一个量化标准,如实标注为待补项。 - 本表未覆盖"替换/组合"两种裁剪授权:
agent.mdStep4 明确允许"裁剪/ 替换/组合"三种操作,本表只处理"裁剪"这一种(任务书要求范围本就限定在 "裁 or 留",未要求覆盖替换/组合),"替换某个节点本体""拿executor.json 做主干接入planner的验收节点"这两种操作不在本表判据覆盖范围内。
四、给下一阶段的建议
- 把
SKILL.md§一~§四 的内容整合进workgraph-planning/agent.mdStep4 (当前只有"你被明确允许:裁剪……(比如任务不需要BRD,直接从PRD起步)" 这一句例句,没有可执行判据)——可以直接引用本文件路径,或摘要粘贴 §三 汇总表 + §四 连带修正清单两节(这两节最短,覆盖了"读了立刻能用"的核心)。 - 建议在规划记录模板里新增一节"信号取值",把 S1-S5 的判定结果显式记录下来 ——这既是本表要求的输入,也是让 G3 复用门未来真正能触发的前提条件 (见 §三 局限性3)。
- 下一次遇到真实的
org-planner宿主任务时,建议 workgraph-planning 显式 套用本表并在规划记录里标注"依据 workgraph-planning-methodology-trial SKILL.md v1 第几条判定",积累第一个真实生产验证案例。