evolve_report_v6.md 9.75 KB

evolve_report_v6 — 纠偏 Retrain v6(T-mtlcior6)

产出者:innovator-evolver|日期:2026-09-03|上游:T-mtlbufky(Hunt)→ Digest(benchmark_v6) 被改对象基线:.claude/skills/main_skill/SKILL.md v0.6.1(sha256 03d8cb4f6fd6be942abd6a43aaac22c6d5472687b5d740bf86d8afdb93b53fa8)、 agent.md(sha256 4f8067875096ec22d80fe759a8ff572a982224ef2c00a22b6c5dc1eeeff6d883)——快照与 sha256 见 _v6_artifacts/baseline_snapshot/。 现网文件本轮零改动:SKILL.md / agent.md / config.json 均未触碰(Deploy 由 org-innovator 统一执行); v1-v5 任何文件未覆盖(本轮产物全部 _v6 后缀或 round_outputs_v6/)。


一、结论(先给达标判定)

轨 达标线 实测 判定
A 轨 prompt(9 个生产场景均值) ≥ 90 98.00(882/9,逐场景 92~100) ✓
clarify 轨(逐场景,禁合并) 逐场景 ≥ 85 TS-47 95 / TS-50 97 / TS-51 97 / TS-55b1 97(min 95) ✓
对抗面(必须落低分,VD4) 全部 TS-45 20 / TS-48 41 / TS-49 20 / TS-52对抗 61 / TS-53对抗 20 ✓
区分度 — 80 / 80 / 54 / 31 / 80(正确件 vs 对抗件) ✓
零静默引用 / 零臆造 必须 机械判据 51/51 过(_v6_artifacts/verify_mechanical_v6.py,FAIL=0) ✓

3 轮收敛(r1 基线 → r2 修订 → r3 定点修复,低于 5 轮 session 上限)。

二、候选件:SKILL_v6.md 改了什么

从 v0.6.1 快照生成(_v6_artifacts/apply_v6_edits.py,9 处替换全部带 must-count 断言,零静默失败), 基线快照 51,809 B(26,281 字符)→ 候选件 60,219 B(29,839 字符),净增 +3,558 字符 / +8,410 B。逐条对齐任务必办 a-e:

必办 落点 内容 缺口
a §1.1 硬门(v6 文件 L194-216) 作用域钉死:硬门判「主体事实」不判「素材存在性」;三分型——主体事实缺失(该问,用例 C)/ 参考素材缺位(不问、T2VA/L2VA 直出豁免,A:doc1:35、doc1:222,用例 A)/ 点名素材未到达(只就该素材问,用例 B);素材维度判定推迟到 §3.1,不属硬门;唯一例外 = 外观锁定类职责(R6-C1:doc1:232 收口为唯一合法适用域,不得推广成无图拒跑) G1/G3
b §1.2 入口分支(L229-238) 素材集合为空 → 逐条预检整体跳过 + 显式声明「【参考素材说明】无参考素材(纯文字生成视频)。」(doc1:237 官方先例);并区分「集合为空」与「点名未到达」两个入口 G2
c §8.1 CL1(L593)+ 新增 §8.1b(L603-621) 「有无参考素材」从必问项收口为条件问项(仅用户点名素材 / 外观锁定类诉求时可问;违反 → CL1=0 范围违规最高档);§8.1b:范围限定 + 三选项(补传/文字替代/豁免)+ 职责分型 + 不编造续跑 + 部分推进 + 不适用 §8.2 G4 / R6-C1 / R6-C2
d §9(L641-646) 无素材对应交付物 = 一句显式声明(不交空清单);R6-C3 纯文字免任务类型标记(缺标记不扣分,标素材类标记 = 无中生有素材主张) G5 / R6-C3
e 同轮清扫 §7 自查清单 25→26 条(新增第 26 条「硬门越域」);§8.2 反向条款补「点名素材未到达不属本节」;§1.7 第 21 条与 R6-C3 对齐(免任何素材类标记);§3.1 决策树首行加「本问不属硬门域」交叉引用;frontmatter 版本/状态/changes 块 —

未动的部分:九维度权重、三轨分值、v5 全部 62 条判据、H1-H16、② 型窗式、链路四层——按「判据与分值零改动」硬约束原样保留。

三、逐轮迭代(细节在 iteration_log_v6.md / round_scores_v6.json / round_outputs_v6/)

r1(基线 v0.6.1,复现训错面):零素材单 5/5 触发索材或拒跑(TS-44/54/58 → 41/41/41,TS-55b2 → 20, TS-45 对抗 → 20);点名素材未到达 3/3 被整单化(TS-46 → 20 整单阻塞、TS-47 → 41 整单问全、TS-55b1 → 41)。 素材在场路径(TS-56/57)与正确域(TS-50/51)基线本就合规(100/90/97/97)——纠偏域失效、非纠偏域健康, 与 benchmark_v6 §0.1 的根源定位一致。A 轨生产场景均值 63.6,未达标。

r2(SKILL_v6 修订):A 轨 9 场景均值 98.0、clarify min 95、对抗 5 件全部落低分。机械复算器 (51 项判据脚本化)拦下 2 处实测缺陷:

  1. TS-57 三条 url 中两条被写成 …/sb2.png 缩写 → RG-url-verbatim 判 FAIL(url 失联类错误,正是 v0.6.1 热修域,量尺抓到了)→ D7=2/5,90 分;
  2. TS-46 已到达的图1 只在交付说明归因、正文零内联认领 → §1.7 第 6 条幽灵风险 → D7=3/5,96 分。

r3(定点修复,retry-with-reflection):只改这两处(TS-46 加 <Picture 1> 内联认领、TS-57 补 JSON 资产层三条 url 逐字),其余场景零改动复测一致 → TS-46 100、TS-57 98,达标收官。

保留的真实扣分(不抹平):TS-52 92(At 时间戳写进 [Shot 1] 内未拆 [Shot 2],H5 记号纪律)、 TS-58 96(画外音固定短语误用于画内对话——递伞场景两人面对面,off-screen + 唇部闭合与画面语义矛盾, D5=3/5)、TS-54/55b2 98(单景别未做分层写法,D6=4)、TS-50/51 97(CL4 推定项与反问项轻微重叠/冗余确认)。

四、判据缺齿登记(只登记不改,按硬约束须先报回)

本轮未发现需修判据的缺齿:4 条对抗样本全部如预期落低分(benchmark_v6 §六自检的 20/41/20 全部复现), 未出现「对抗件拿高分 = 判据缺齿」情形。两条观察供 Digest 参考(非本轮改动):

  1. CL5 计分口径漂移:TS-48 自检算式(Digest 给出 41 = CL1 0 + CL2 25 + CL3 8 + CL4 8)未含 CL5, 我方沿用该口径;若 CL5 参与计分,对抗件分数会上浮 15 分(41→56),仍低于 85,不影响区分度结论, 但会影响跨轮可比性。建议 Digest 明确「对抗件的 CL5 是否默认 0」。
  2. TS-52 的 D1 记号纪律(正文内 At 00:02.000 未拆镜)在判据集中无对应判据项(属 H5 域但 TS-52 criteria 只覆盖 VD1/VC4/VA2)——我方按 H5 自行扣档到 92。若严格按场景判据集计分应为 100,建议 Digest 决定回归域判据是否跨场景生效。

五、agent_md_patch_v6.md(候选,未部署)

两处候选修订(G6/G7):L46-48 前置正命题「纯文字模式是合法独立交付模式」+ 三句阻塞/反问条款各归其位 + 「不得把没有参考图当阻塞理由」;L69 加「文字已给足 → 不问」出口(CL1 条件问项在 agent 层可见)。 措辞与 SKILL_v6 逐条同源、不冲突,待验收后与 SKILL_v6 一并 Deploy。

六、未解决局限(如实登记)

  1. 执行器 = 评分者,无独立复核:机械判据 51 项已脚本化可复算(FAIL=0),但人评判据(D2/D4/D6、 CL1-CL5 细档)为自评,未走 v5 轮的「独立评分者亲核」。建议 org-innovator 抽查 TS-47/TS-58 两个 扣分场景的算式(本轮扣分方向是自我压低,风险在虚高不在虚低——对抗面全部落低分是脚本可验证的)。
  2. r1 基线行为是复现而非录制:基线在零素材单上的输出按 v0.6.1 条款的扩张读法模拟(与 benchmark_v6 §0.1 登记的已发生训错一致),不是抓取的真实生产会话记录。其分数用于证明「量尺能抓住这条失败路径」, 不用于与 v5 分数可比。
  3. 对抗件为构造输出(test_scenarios_v6 内建),未在真实 agent 会话复现(benchmark_v6 §九.4 沿用)。
  4. SKILL_v6 未过真实生产会话回归:候选件的全部证据来自本轮 15 场景;Deploy 后建议首周盯一类 会话——纯文字直出单是否还会索材(G1 修复的直接观测量)。
  5. R6-C2 三选项集是 C 级构造、R6-C1 收口边界是 R 级推演(Digest 已登记,本轮无新证据); VB5「部分推进」与 §8.1 CL2「不产出半成品」的边界本轮在 TS-47 实跑过一次(正文落位 + 职责位留口), 未在真实会话回归。
  6. TS-46/TS-57 的 round3 修复只针对交付件,SKILL_v6 条文本身无需再改——两处缺陷属执行层遗漏, 恰好被 §1.7 第 6 条 / 第 22 条既有的机械验收条款覆盖,说明条款在、量尺在,风险在执行纪律。
  7. H6 词数区间本轮全程 N/A:本轮场景均为基础模式三字段 / ② 型窗式,无 detailed_description 字段域,未覆盖六段交付面(v5 已覆盖,本轮未回归该面)。

七、产物清单(全部在 /app/system/agents/h3-video-prompt/train/evolve/)

文件 说明
SKILL_v6.md 候选件 v0.7.0-candidate-v6(26,281 → 29,839 字符,+3,558;51,809 → 60,219 B)
agent_md_patch_v6.md agent.md L46-48 / L69 候选修订(未部署)
iteration_log_v6.md 3 轮逐轮摘要
evolve_report_v6.md 本文件
round_outputs_v6/round1/(10 件) 基线行为 + 对抗件
round_outputs_v6/round2/(15 件) r2 交付(TS-46/57 为缺陷版,留档不删)
round_outputs_v6/round3/(2 件) 定点修复版(TS-46 / TS-57)
round_outputs_v6/gen_r1_and_rest.py r1/r2 部分产物的生成脚本(可复跑)
_v6_artifacts/baseline_snapshot/ v0.6.1 SKILL + agent.md 快照 + sha256
_v6_artifacts/apply_v6_edits.py 9 处修订生成脚本(断言式,可复跑)
_v6_artifacts/verify_mechanical_v6.py + round2_mechanical.json 51 项机械判据复算器与结果(FAIL=0)
_v6_artifacts/round_scores_v6.json 全部逐场景分数 + 可回溯算式