iteration_log_v5.md 4.03 KB

iteration_log_v5 — h3-video-prompt Retrain v5(T-mtd9w6oi)

每轮一行摘要 + 分数轨迹。逐场景记分卡:_v5_artifacts/scores_r1|scores_r2|scores_cf/; 交付物:round_outputs_v5/round1|round2|counterfactual/;算式统一见 evolve_report_v5.md §二。

Round 0(准备)

  • 写 SKILL_v5.md(v0.6.0 候选,47,464 B;按 C-1/C-2 作用域重写 §0,新增链路四层 §0.6,H9 落 8 取值)。
  • R4 引句审计:66 处 docN:line 引用逐条回查 cache_v5,0 失败(_v5_artifacts/tools/audit_skill_v5_quotes.py)。

Round 1

  • 执行:43 场景全跑。执行者 = 6 个独立子 agent,输入文件物理剔除 scoring_points/mode/ expected_outcome(盲执行,留档 _v5_artifacts/inputs_blind/)。
  • 评分:6 个独立评分 agent(未读 SKILL_v5、未读 round1)+ 机器脚本 mech_check.py(13 族机械项)。
  • 分数(实际产出形态 C8a):prompt 35 场景 mean 93.34(min 60)|block 4 场景 mean 94.75(min 86)| clarify 4 场景 mean 98.00(min 95)。
  • 弱维度分析(扣分集中点):
    1. TS-01 = 60 / TS-36 = 60 —— 该问不问 + 编造主体。根因在 SKILL:§1.1 只在 §8.1 提「主体未知要反问」, 不是硬门;且 §0.5 允许「显式标注假设」这条支路被「你们定」这类显式授权误用。
    2. TS-14 = 60 —— 形态误判(② 交付,场景归属 ①)。根因在 SKILL:§0.2 判据 1 的「按时间切分」 与「拆成 N 个镜头」未切干净。
    3. TS-34 = 84 / TS-42 = 86 —— block 软化。根因:note 版本要求「必须剪到 4.0s 且无干净版」被 判成提示词层可满足;H13 音频单独输入只写旁注不交阻塞报告。
    4. 系统性机械缺陷(多场景 D9 扣分):资产层 JSON 夹带 schema 外字段、URI 字段填中文说明、 TS-16 retention_analysis 出现 (S1)/(S2)(doc2:579)、TS-37 summary 缺 + audio reference、 5 处「自查声明与正文实测不符」。
  • 改动(SKILL,非阈值):§0.2 新增第 3 条「拆成 N 个镜头 ≠ ② 型」;§1.1 新增硬门(主体/UI 文案 缺失 → 反问为唯一合规路径;显式授权不构成主体事实);§1.2 第 5/6 条(版本要求提示词层不可满足 → 阻塞;音频单独输入 → 阻塞报告五要素);§1.7 新增第 19-21 项(自查声明逐项实测 / retention 零 (Sx) / summary 任务类型标记对齐)。篇幅 47,464 → 50,253 B。

Round 2

  • 复跑 10 个受影响场景(TS-01/02/14/16/34/36/37/38/42/43),其余 33 场景沿用 round 1 分数 (SKILL 改动未触及其判据面,v4 惯例)。
  • 分数(实际产出形态 C8a):prompt 31 场景 mean 97.03(min 91.1)|block 5 场景 mean 95.40 (min 92)|clarify 7 场景 mean 96.71(min 90)。
  • 逐场景 Δ:TS-01 +38、TS-14 +38、TS-36 +30、TS-34 +8、TS-42 +6、TS-16 +4、TS-38 +2、TS-43 +1、 TS-02 −1、TS-37 −2(后两处为 r2 评分员新抓到的 CL1/CL4 口径自洽问题,非退化)。
  • 复跑确认:round 1 的 retention_analysis (Sx) 违规在 TS-16 实测清零;TS-01/36 不再编造主体。
  • 反事实压测(区分度实跑):P1/P2/P3/P4/P5 五策略实跑,实得分 32/60/68/50/45, 实测 gap = 66 / 32 / 24 / 40 / 47(预计算 60/48/27/47/55);TS-35 破线(24 不调阈值,交回 Digest(见报告 §七)。

停止判定

33 个未复跑场景 Δ = 0,10 个复跑场景净 +12.4 分(均值),剩余扣分集中在(a)已知会失败样本的 判据缺齿(量尺侧,非 SKILL 侧)与(b)−1/−2 级写作瑕疵。按 Token 预算规则(连续两轮 round 2 收敛,停止迭代,剩余项交回 Digest / Innovator 裁决。