iteration_log.md 2.89 KB

迭代记录 — iteration_log.md

Round 1(首版)

  • 依据 benchmark_v1.md 7 维度 + knowhow_v1.md 4 份真实样本,把 D1/D2/D3 转写成 RESEARCH/PLAN/ EXECUTE/VERIFY 四段式各阶段的具体动作(信号词黑名单表、独立性声明要求、结构类/可见语义类裁决表), D4-D7 按各自 vacuous 规则和权重较低的实际情况给出较简版操作指导。
  • 未做真实样本压力测试,规则是否可机械执行未经验证。

Round 2(独立样本压力测试后修正)

  • 用 rn_fc9155c598ef(Hunt 用过但 Digest 反算未用过的独立样本)逐维度对照 Round 1 草稿,发现两个 真实缺口(详见 sample_verification.md):
    1. D2 措辞锚点缺失:样本用"未复用……结论"表达独立重跑,语义等价但没点名"不采信", benchmark 逐字要求"不采信"这个锚点词才给5档,Round 1 草稿没把这条隐性要求显式化,导致即使 行为完全独立也可能只拿4档。→ 在 PLAN 阶段新增"D2 声明固定模板",把"不采信"三字定为必须原样 出现的锚点词。
    2. D5(a) 跨文件可复现性缺口:单看 test.log 看不出是否为中断恢复/复用场景,因为这类判定 信息按设计应该在 _research.md 里,但历史样本只留下了 test.log。→ 在 VERIFY 阶段新增 "D5(a) 可复现性核对"动作,要求 test.log 末尾至少补一句场景归属(全新 attempt / 从哪个阶段 恢复),避免只读 test.log 时可复现性链条断裂。
  • 修正后未重新对样本3打分(历史样本已既成事实,分数不因规则修订而改变),Round 2 的改动是面向 "未来 unit-tester 照做能不能拿到该拿的档位",不是替历史样本加分。
  • 连续 2 轮之间的分数变化:本次训练不是"评分-改进-再评分"的迭代打分循环(不存在"上一轮总分"这个 概念,Digest 阶段已经用两份样本反算过 92/100 分),Round 1→Round 2 是"起草-压力测试-修正一次" 的单轮验证流程,不适用"连续2轮分数变化

未做的事(如实说明)

  • 未对样本1(rn_956c699f1160)做同样的压力测试——任务书允许二选一,样本3信息量更大(含动画 真实性补测,能同时覆盖 D3 两类裁决),选样本3后未见规则出现无法诊断的情况,判断没有必要再测 第二个样本去重复验证已经确认覆盖到的判据点。
  • 未修改 unit-tester-methodology-trial/config.json 的 status,未触碰生产 system/agents/ unit-tester/ 任何文件,按任务边界要求,Deploy 与否留给用户人工审查。