# evolve_report_v4 — h3-video-prompt Retrain v4（T-h3retrain-v4） **执行者**：innovator-evolver（🧪 Evolver）｜**日期**：2026-08-27｜**上游**：Digest T-mtbq78te（Innovator 已验收） **SKILL 产出**：`train/evolve/SKILL_v4.md`（**v0.5.0**，含 round 2 增补 2 条；未部署，线上仍为 v0.4.0） --- ## 〇、可比性声明（每轮报告开头惯例，本轮必须先说） **v4 的三轨数字与 v3 的两轨数字不可直接比。** 三个原因： 1. **轨制变了**：v3 是两轨（prompt / block），v4 按 C8 把反问清单型场景（TS-01/07/08）从 prompt 轨 移入新的 clarify 轨并新增 TS-27，prompt 轨的构成变了（v3 含反问场景的实体化口径 93.88， v4 的 prompt 轨 21 条不含它们）。 2. **判据变了**：v4 新增 25 条判据（#22-#46，benchmark_v4 §五.2），其中 C4 习语判定直接改变 D1 的判分内容，C5-C8 新增三轨与窗式判据。 3. **量尺性质**：B1-B5 与 CL1-CL5 都是 **C 级构造性设计、0 真实先例**（benchmark_v4 §六 如实 登记）——block/clarify 轨的 100 分是"构造性量尺上的达标"，不是行业分数，**没有行业基准 可对照**（h3-video-prompt 是单一官方模型的方法论技能，无可抓取的第三方行业平均分； 飞书标杆文档登录墙未解、开放平台文档本轮仍未核实）。 因此本轮只做**轮内比较**（Round 1 vs Round 2，同一量尺同一场景集），不做跨版本分数比较。 --- ## 一、最终成绩（三轨分开呈现，禁止跨轨合并） | 轨 | 场景数 | 成绩 | 算式 | 达标条件 | 判定 | |---|---|---|---|---|---| | **prompt** | 21 | **98.48** | 逐场景 Σ(维度得分/5×权重)，权重 20+10×8=100；21 场景算术平均 = 2068.00/21 = **98.48** | 均值 ≥ 90（部署线）/ ≥95（目标线） | ✅ 双线过 | | **block** | 3 | **逐场景 100 / 100 / 100（均值 100.00）** | B1-B5 实得分之和，算式 25+25+20+15+15=100 | **每一个场景** ≥ 85 | ✅ | | **clarify** | 4 | **逐场景 100 / 100 / 100 / 100（均值 100.00）** | CL1-CL5 实得分之和，算式 30+25+15+15+15=100 | **每一个场景** ≥ 85 | ✅ | | 静默引用 / 臆造 | 28 | **0 起** | 逐场景核查 `silent_reference` 字段（`_v4_artifacts/scores/*.json`） | 零静默引用、零臆造 | ✅ | **逐场景分数**（可复算，分卡在 `_v4_artifacts/scores/`，渲染脚本 `render_scores.js`）： - prompt（21）：TS-02=98、TS-03=100、TS-04=100、TS-05=96、TS-06=96、TS-10=98、TS-11=100、 TS-13=100(r2)、TS-14=98、TS-15=98、TS-16=96、TS-17=100、TS-18=100(r2)、TS-19=96、TS-20=96、 TS-21=100、TS-22=100(r2)、TS-23=100、TS-24=96、TS-25=100、TS-28=100 → 加总 2068.00，÷21 = **98.48** - block（3）：TS-09=100、TS-12=100、TS-26=100 - clarify（4）：TS-01=100、TS-07=100、TS-08=100、TS-27=100 **迭代轨迹**：Round 1 prompt 97.33 / block 100 / clarify 100 → Round 2（修复 3 个结构性违规）prompt **98.48**（+1.15）/ 其余沿用 → Δ<2 分，按 Token 预算规则停止。详见 `iteration_log_v4.md`。 --- ## 二、SKILL 改法：作用域重写（硬要求 A 的落实） **v0.5.0 不是在 v0.4.0 上追加，而是按作用域重写**： 1. **§0 整体重写**为「先判习语，再谈语言规则」：0.1 两种官方习语对照表（复用 knowhow_v4 §2.3）、 0.2 习语切换判据（C4 四条，B 级内部规范）、0.3 习语甲硬规则（作用域从"全部输出"**收窄到 习语甲交付**——这就是 revision_notes §五.1 说的 v0.4.0 §0 缺陷的修法）、0.4 习语乙交付规范。 2. **习语乙内容只住在 §0.4 一节**（窗式结构 / 每窗三要素 / Reference roles / 窗边界 C5 分行 / 时长 C6 / UI 四禁令 C7 / 对白 C2 习语乙行 / 词法自洽）；其余章节只留指针，不在全文散落 习语乙规则（v3 的膨胀方式就是散落追加）。 3. 配套增量：§0.5.7 机械验收 12→15 项、§0.5.8 阻塞报告第③要素习语乙增补（窗式切分预案）、 §9 自查清单 22→26 条、§10.1 反问按 CL1-CL5 五要素组织、§5.1 每窗/每镜首行机位（判据 #41）、 §4.1 round 2 增补（非可见内容不得立为 Subject）。 **篇幅如实登记**：v0.4.0 基底 65,479 B → v0.5.0 **88,655 B（+35.4%，round 2 增补后终值）**。膨胀主因是 C4-C8 带来的 25 条新判据（§0.4 约 10 KB + 清单/交付清单/来源标注约 6 KB），已做作用域收口但无可省判据。 **下轮若分数反常，本文件长度仍是第一怀疑对象**（沿 evolve_v3 §五.5 登记继续有效）。 --- ## 三、revision_notes §五 四点交接提醒的逐条落实 | # | 提醒 | 落实 | |---|---|---| | 1 | §0 硬规则按 C4 重写作用域 + 新增习语切换判据节 | ✅ §0.3（硬规则限定习语甲）+ §0.2（切换判据四条）+ §0.4（习语乙交付规范，复用 knowhow_v4 §2.3 对照表）。TS-21 判别样本实测：英文结构化需求交出习语甲六字段，形态误判零发生；TS-19/20/22/23/24/25/28 七个分镜场景全部交出习语乙窗式散文 | | 2 | D6 新判据 #41（每窗/每镜首行显式机位） | ✅ SKILL §5.1 增补 + §0.5.6 引用；习语甲侧如实标 B 级内部规范（未写成官方条款）。执行侧：习语乙 7 个场景每窗首行均有机位声明；习语甲侧 TS-10 被判 D6=4（无显式机位声明）——判据在新场景集上确实有牙齿 | | 3 | clarify 轨新机制：反问按五要素组织，CL3 最易漏 | ✅ SKILL §10.1 重写为 CL1-CL5 五要素表；执行侧 4 个 clarify 场景全部按五要素组织，CL3 分支预判（含习语乙预告）均落实。**CL 量尺为 C 级构造（0 真实先例），4/4 满分不构成"行业水平"证据**（见 §〇.3 与 §六局限） | | 4 | 评分卡生成脚本修渲染 bug + 可比性声明惯例 | ✅ `_v4_artifacts/render_scores.js` 全部用字符串拼接构造算式，**内置渲染自检**（grep `{' + '.join`/`{tot`/`{d[`/`f'`/`${`/`undefined`/`NaN`/空粗体，`render_selfcheck.txt`：residue_hits=0）；本报告开头即可比性声明 | --- ## 四、已知会失败样本的处置（硬要求 D） TS-09 / TS-18 / TS-21 / TS-28 四条判别样本，**正确行为**得分 100/100/100/100（预期内）。 判别力检验做了**反事实核算**（不实际产出错误版本，逐条算式可复算，见 `round_outputs_v4.md` 末表）： 若做错误行为 → TS-09 静默引用 = B2=0 + D7 上限 70；TS-18 口径颠倒 = D5 上限 75；TS-21 习语选错 = D1 档 2 → 上限 60；TS-28 照抄 18s = D8 档 2 + D9 档 2 → 78。四条全部压到达标线以下 → **判据判别力成立，无需修维度、无需调阈值**。 --- ## 五、计分口径与可复算性 - **逐场景分卡**：`_v4_artifacts/scores/TS-XX.md` + `.json`（Round 1 全量 28 份；Round 2 重跑 3 份为 `TS-13_r2/TS-18_r2/TS-22_r2`）。每张卡含逐维得分、权重、算式（`x/5×w=y`）、封顶判定、 弱项名单与**扣分依据**（指向产出文件里可核对的具体措辞）。 - **两轮独立测试分与最终分的关系**：Round 1 是全量 28 场景的独立判分；Round 2 只重跑 3 个 结构性违规场景（其余 25 个沿用 Round 1 分卡，未重判）。最终分 = Round 1 的 25 个 + Round 2 的 3 个。`_summary_round1.json` / `_summary_round2.json` 分别记录两轮口径， `render_selfcheck.txt` 记录渲染自检结果。 - **N/A 使用**：仅 prompt 轨且"违规行为在该产出中不可能发生"时使用（如无台词场景的 D5）， 每处 N/A 在分卡上写明理由；block / clarify 轨不适用 N/A（C3/C8）。 --- ## 六、本轮未解决的局限（如实清单） 1. **自评偏置（最大局限）**：执行者与判分者是同一个 agent，且判分前已读取 `test_scenarios_v4.json` 的 `scoring_points`——分数存在系统性向上偏置。缓解措施：①每条扣分都给了可核对的产出内证据 （13 个场景被扣分，含 2 个 D1=3 的结构性违规——说明判分不是走过场）；②判别样本反事实核算； ③B1-B5/CL1-CL5 得 100 分**不构成**"行业水平"证据。**建议下一轮由 Innovator 侧做人工抽查 （至少抽 TS-19 / TS-13_r2 / TS-26 各一份）后再决定部署。** 2. **B1-B5 与 CL1-CL5 区分度仍未压测**（fde_report_v3 §五.2 维持有效）：block 3 条、clarify 4 条 全部接近满分，量尺的区分度没有被坏产出压力检验过；仍是 C 级构造性设计、0 真实先例。 3. **url 字面保真覆盖率受限**：本轮 13 个带参考图的场景，输入 JSON 均未携带实际 url 字段， 只能交付 `url 待补` 标注——"原 url 原样保留"的**字面**保真（不下载/不改链/不转存）依然无法 在无真实 url 的条件下被验证（v3 §五.2 的遗留，v4 场景集把 url 场景从 7 条提到 13 条， 但字段缺省问题依旧）。 4. **TS-26 输入侧缺口**：`raw_brief` 未携带赛道图 note 原文（水印/必须换洗版字样），block 触发 条件按基准声明处理，已在产出与分卡中显式登记；这是场景集构造问题，不是执行问题。 5. **档 4 级轻微扣分未在 Round 2 重跑**（非结构性违规，按范围控制只修 D1=3 级）：TS-05/06 summary 前缀多标 audio reference（96）、TS-16 retention 误标 partially_preserved（应为 attribute_transfer，96）、TS-19/20/24 个别窗未做来源图回指（96）、TS-02 质量词 "appetizing"（98）、 TS-10 无显式机位（98）、TS-14 台词未内联对应镜头（98）、TS-15 唇部闭合弱表述（98）。 这些是执行层缺口，SKILL 已有对应规则，留给下一轮（若重启）重跑。 6. **SKILL 篇幅**：88,655 B（+35.4%，round 2 增补后终值），已按作用域收口但仍在增长通道上（详见 §二）。 7. **网络受限登记（R2 口径，硬要求 F）**：本轮**未发起新的外网抓取**——所有官方引文均复用 Hunter v4（T-mtbn18a4）已抓取并由 Digester 于 2026-08-27 独立复抓核对的文本 （7 个官方文件全 HTTP 200、sha256 前 16 位比对一致，见 benchmark_v4 §〇.2）。 本轮网络受限事项沿用 knowhow_v4 §11：开放平台 schema 与 `conditions[].role` 枚举第二信源 仍缺、`skills/*/SKILL.cn.md` 8 个中文版未抓、飞书标杆文档登录墙未解。按 SOP 未做任何 失败重跑。 --- ## 七、产出清单（全部 `_v4` 新文件，未覆盖任何旧版本） | 文件 | 说明 | |---|---| | `train/evolve/SKILL_v4.md` | **v0.5.0**（round 2 增补 2 条），88,655 B（round 2 增补后终值） | | `train/evolve/evolve_report_v4.md` | 本报告 | | `train/evolve/iteration_log_v4.md` | 两轮迭代日志 | | `train/evolve/round_outputs_v4.md` | 28 场景执行产出索引 + 反事实判别力自检 | | `train/evolve/_v4_artifacts/inputs/` | 28 份场景输入快照（JSON） | | `train/evolve/_v4_artifacts/outputs/` | 31 份交付物（28 Round 1 + 3 Round 2） | | `train/evolve/_v4_artifacts/scores/` | 62 份分卡（JSON+MD，r1/r2 后缀区分）+ `_summary_round1/2.json` | | `train/evolve/_v4_artifacts/score_data.js` / `score_data_r2.js` | 评分数据（逐条扣分依据） | | `train/evolve/_v4_artifacts/render_scores.js` / `render_selfcheck.txt` | 渲染脚本（修 v3 渲染 bug）+ 自检记录 |