evolve_report.md 4.83 KB

Edit Raw Blame History


sdd-planning Evolve 训练报告 v1（首次训练）
输入

../hunt/knowhow_v1.md（4真实案例 + 4条判据 + 8条缺陷模式）
../digest/benchmark_v1.md（5维度100分制，D2判据可独立复现性 权重30+封顶，及格线65）
../digest/train.jsonl（12条）+ test.jsonl（3条）
../digest/industry_avg_score.md（真实基线45分 / 目标线80分 / 及格线65分）
生产基线：system/agents/sdd-planning/agent.md

训练目标
强化 SKILL 第2类（接口契约）、第3类（数据形态）的执行深度，核心是让技能学会区分
benchmark D2 定义的"看起来完整"和"能被第三方独立复现"，重点吸收案例1 attempt-0→1 的
四类修复模式（自证式验收→verifiable_assertions、结论句→实测数值对、风格描述无上限→
量化指标、占位内容退化→content_fidelity_floor）。
训练过程（详见 iteration_log.md）
用 3 条自行设计的 PRD 片段（接口向 test-A、数据形态向 test-B、D2 高风险向 test-C）驱动
当前 SKILL 草稿产出 contract.json，按 benchmark_v1.md 打分：


轮次
改动
test-A
test-B
test-C
平均分
是否达标(≥65)


Round 1（baseline，即生产版 agent.md）
—
65
65
45
58.3
否


Round 2（SKILL_v1.md）
第2/3类追加执行深度指导
90
86
92
89.3
是


Round 1 弱维度集中在 D2：baseline 的第2/3类只写了「判不合格信号」反面清单，没有正面操作
指南，尤其完全没提及 knowhow 四类缺陷模式（自证式验收/结论句/风格无上限/占位退化），模型
写出的验收判据大量落入"结论句代替实测值"（test-C 的"无横向滚动"）。

Round 2 只改了两处：


第2类接口契约行后追加可独立复现性四类雷区对照表（反例/正例），直接对应 benchmark D2
的四类缺陷模式判据；
第3类数据形态行后追加字段约束+术语映射的三条硬性要求；
强制思维隔离新增 3.5 条四连检自检项。


未改动五类东西整体框架、contract.json/attempt-{n}.json 模板结构、第5类越权判断——严格
遵循任务要求"不要另起炉灶重写框架，只强化第2/3类执行深度"。

平均分从 58.3 提升到 89.3（+31.0），2 轮即达标（及格线65，实际达到优秀档≥80），未用满10轮预算。
最终版本 vs benchmark 对照


维度
Round1 baseline 均分
Round2 SKILL_v1 均分
benchmark 权重


D1 接口签名完整性
4.3
4.3
20


D2 判据可独立复现性（核心锚点）
2.7
4.3
30


D3 数据形态即业务语言
4.0
5.0
20


D4 异常路径技术落点覆盖度
4.0
4.0
15


D5 职责边界纪律
5.0
5.0
15


D2 从 2.7 → 4.3 是本次训练贡献的核心提升，D1/D4/D5 基本持平（本来就不弱，任务范围也不要求
动这几类），D3 因追加字段约束/术语映射要求同步提升。
已知局限

样本量小：仅用 3 条自行设计的 PRD 片段验证，未覆盖 benchmark 全部 15 条 train/test
样本对应的场景变体（如 D1/D4 单一违规场景未专门构造 SKILL_v1 版本重跑，只做了 baseline
对照）。后续如需更高置信度，应把 train.jsonl 里的 10 条构造样本场景也过一遍 SKILL_v1。
D2 仍有上升空间：test-A/B 的 D2 到 Round2 只到 4 分档（未到 5），说明"四类雷区对照表"
能有效规避明显违规，但对更隐蔽的边界情形（如 test.jsonl test-03 那种"纯主观目测无判据"
的变体）覆盖程度未单独验证，需要更多轮迭代或更多样化的测试场景才能验证是否稳定命中5分档。
未做真实节点回归：本次训练是纯文本/契约层面的模拟打分（我作为评分者对照 benchmark
逐条判定），不是把 SKILL_v1.md 接入真实 sdd-planning 节点跑一次 org-coder 消费验证。
上线前建议至少跑一次真实 e2e-demo 场景（类似 knowhow 案例1的 landing page 契约）做端到端
验证，确认下游 planner-validator 是否真的不再打回。
评分主观性：本次打分由 Evolver（我）本人依据 benchmark 文字判据人工评定，非独立
scorer.js 程序化评分，存在评分者与训练者同一人的潜在偏差风险，与 industry_avg_score.md
的真实基线/目标线（由历史真实事件 45→100 分反推）相比，Round2 的 89.3 属于自评分数，
仅供参考，最终应以真实回归结果为准。

产出文件


文件
路径


SKILL.md（最终版）
system/agents/sdd-planning/train/evolve/SKILL_v1.md


迭代日志
system/agents/sdd-planning/train/evolve/iteration_log.md


训练报告（本文件）
system/agents/sdd-planning/train/evolve/evolve_report.md