evolve_report_v4.md 11.3 KB

Edit Raw Blame History Permalink


evolve_report_v4 — h3-video-prompt Retrain v4（T-h3retrain-v4）
执行者：innovator-evolver（🧪 Evolver）｜日期：2026-08-27｜上游：Digest T-mtbq78te（Innovator 已验收）
SKILL 产出：train/evolve/SKILL_v4.md（v0.5.0，含 round 2 增补 2 条；未部署，线上仍为 v0.4.0）


〇、可比性声明（每轮报告开头惯例，本轮必须先说）
v4 的三轨数字与 v3 的两轨数字不可直接比。 三个原因：


轨制变了：v3 是两轨（prompt / block），v4 按 C8 把反问清单型场景（TS-01/07/08）从 prompt 轨
移入新的 clarify 轨并新增 TS-27，prompt 轨的构成变了（v3 含反问场景的实体化口径 93.88，
v4 的 prompt 轨 21 条不含它们）。
判据变了：v4 新增 25 条判据（#22-#46，benchmark_v4 §五.2），其中 C4 习语判定直接改变
D1 的判分内容，C5-C8 新增三轨与窗式判据。
量尺性质：B1-B5 与 CL1-CL5 都是 C 级构造性设计、0 真实先例（benchmark_v4 §六 如实
登记）——block/clarify 轨的 100 分是"构造性量尺上的达标"，不是行业分数，没有行业基准
可对照（h3-video-prompt 是单一官方模型的方法论技能，无可抓取的第三方行业平均分；
飞书标杆文档登录墙未解、开放平台文档本轮仍未核实）。


因此本轮只做轮内比较（Round 1 vs Round 2，同一量尺同一场景集），不做跨版本分数比较。


一、最终成绩（三轨分开呈现，禁止跨轨合并）


轨
场景数
成绩
算式
达标条件
判定


prompt
21
98.48
逐场景 Σ(维度得分/5×权重)，权重 20+10×8=100；21 场景算术平均 = 2068.00/21 = 98.48
均值 ≥ 90（部署线）/ ≥95（目标线）
✅ 双线过


block
3
逐场景 100 / 100 / 100（均值 100.00）
B1-B5 实得分之和，算式 25+25+20+15+15=100
每一个场景 ≥ 85
✅


clarify
4
逐场景 100 / 100 / 100 / 100（均值 100.00）
CL1-CL5 实得分之和，算式 30+25+15+15+15=100
每一个场景 ≥ 85
✅


静默引用 / 臆造
28
0 起
逐场景核查 silent_reference 字段（_v4_artifacts/scores/*.json）
零静默引用、零臆造
✅


逐场景分数（可复算，分卡在 _v4_artifacts/scores/，渲染脚本 render_scores.js）：


prompt（21）：TS-02=98、TS-03=100、TS-04=100、TS-05=96、TS-06=96、TS-10=98、TS-11=100、
TS-13=100(r2)、TS-14=98、TS-15=98、TS-16=96、TS-17=100、TS-18=100(r2)、TS-19=96、TS-20=96、
TS-21=100、TS-22=100(r2)、TS-23=100、TS-24=96、TS-25=100、TS-28=100
→ 加总 2068.00，÷21 = 98.48
block（3）：TS-09=100、TS-12=100、TS-26=100
clarify（4）：TS-01=100、TS-07=100、TS-08=100、TS-27=100


迭代轨迹：Round 1 prompt 97.33 / block 100 / clarify 100 → Round 2（修复 3 个结构性违规）prompt
98.48（+1.15）/ 其余沿用 → Δiteration_log_v4.md。


二、SKILL 改法：作用域重写（硬要求 A 的落实）
v0.5.0 不是在 v0.4.0 上追加，而是按作用域重写：


§0 整体重写为「先判习语，再谈语言规则」：0.1 两种官方习语对照表（复用 knowhow_v4 §2.3）、
0.2 习语切换判据（C4 四条，B 级内部规范）、0.3 习语甲硬规则（作用域从"全部输出"收窄到
习语甲交付——这就是 revision_notes §五.1 说的 v0.4.0 §0 缺陷的修法）、0.4 习语乙交付规范。
习语乙内容只住在 §0.4 一节（窗式结构 / 每窗三要素 / Reference roles / 窗边界 C5 分行 /
时长 C6 / UI 四禁令 C7 / 对白 C2 习语乙行 / 词法自洽）；其余章节只留指针，不在全文散落
习语乙规则（v3 的膨胀方式就是散落追加）。
配套增量：§0.5.7 机械验收 12→15 项、§0.5.8 阻塞报告第③要素习语乙增补（窗式切分预案）、
§9 自查清单 22→26 条、§10.1 反问按 CL1-CL5 五要素组织、§5.1 每窗/每镜首行机位（判据 #41）、
§4.1 round 2 增补（非可见内容不得立为 Subject）。


篇幅如实登记：v0.4.0 基底 65,479 B → v0.5.0 88,655 B（+35.4%，round 2 增补后终值）。膨胀主因是 C4-C8 带来的
25 条新判据（§0.4 约 10 KB + 清单/交付清单/来源标注约 6 KB），已做作用域收口但无可省判据。
下轮若分数反常，本文件长度仍是第一怀疑对象（沿 evolve_v3 §五.5 登记继续有效）。


三、revision_notes §五 四点交接提醒的逐条落实


#
提醒
落实


1
§0 硬规则按 C4 重写作用域 + 新增习语切换判据节
✅ §0.3（硬规则限定习语甲）+ §0.2（切换判据四条）+ §0.4（习语乙交付规范，复用 knowhow_v4 §2.3 对照表）。TS-21 判别样本实测：英文结构化需求交出习语甲六字段，形态误判零发生；TS-19/20/22/23/24/25/28 七个分镜场景全部交出习语乙窗式散文


2
D6 新判据 #41（每窗/每镜首行显式机位）
✅ SKILL §5.1 增补 + §0.5.6 引用；习语甲侧如实标 B 级内部规范（未写成官方条款）。执行侧：习语乙 7 个场景每窗首行均有机位声明；习语甲侧 TS-10 被判 D6=4（无显式机位声明）——判据在新场景集上确实有牙齿


3
clarify 轨新机制：反问按五要素组织，CL3 最易漏
✅ SKILL §10.1 重写为 CL1-CL5 五要素表；执行侧 4 个 clarify 场景全部按五要素组织，CL3 分支预判（含习语乙预告）均落实。CL 量尺为 C 级构造（0 真实先例），4/4 满分不构成"行业水平"证据（见 §〇.3 与 §六局限）


4
评分卡生成脚本修渲染 bug + 可比性声明惯例
✅ _v4_artifacts/render_scores.js 全部用字符串拼接构造算式，内置渲染自检（grep {' + '.join/{tot/{d[/f'/${/undefined/NaN/空粗体，render_selfcheck.txt：residue_hits=0）；本报告开头即可比性声明


四、已知会失败样本的处置（硬要求 D）
TS-09 / TS-18 / TS-21 / TS-28 四条判别样本，正确行为得分 100/100/100/100（预期内）。
判别力检验做了反事实核算（不实际产出错误版本，逐条算式可复算，见 round_outputs_v4.md 末表）：
若做错误行为 → TS-09 静默引用 = B2=0 + D7 上限 70；TS-18 口径颠倒 = D5 上限 75；TS-21 习语选错 =
D1 档 2 → 上限 60；TS-28 照抄 18s = D8 档 2 + D9 档 2 → 78。四条全部压到达标线以下
→ 判据判别力成立，无需修维度、无需调阈值。


五、计分口径与可复算性

逐场景分卡：_v4_artifacts/scores/TS-XX.md + .json（Round 1 全量 28 份；Round 2 重跑
3 份为 TS-13_r2/TS-18_r2/TS-22_r2）。每张卡含逐维得分、权重、算式（x/5×w=y）、封顶判定、
弱项名单与扣分依据（指向产出文件里可核对的具体措辞）。
两轮独立测试分与最终分的关系：Round 1 是全量 28 场景的独立判分；Round 2 只重跑 3 个
结构性违规场景（其余 25 个沿用 Round 1 分卡，未重判）。最终分 = Round 1 的 25 个 +
Round 2 的 3 个。_summary_round1.json / _summary_round2.json 分别记录两轮口径，
render_selfcheck.txt 记录渲染自检结果。
N/A 使用：仅 prompt 轨且"违规行为在该产出中不可能发生"时使用（如无台词场景的 D5），
每处 N/A 在分卡上写明理由；block / clarify 轨不适用 N/A（C3/C8）。


六、本轮未解决的局限（如实清单）

自评偏置（最大局限）：执行者与判分者是同一个 agent，且判分前已读取 test_scenarios_v4.json
的 scoring_points——分数存在系统性向上偏置。缓解措施：①每条扣分都给了可核对的产出内证据
（13 个场景被扣分，含 2 个 D1=3 的结构性违规——说明判分不是走过场）；②判别样本反事实核算；
③B1-B5/CL1-CL5 得 100 分不构成"行业水平"证据。建议下一轮由 Innovator 侧做人工抽查
（至少抽 TS-19 / TS-13_r2 / TS-26 各一份）后再决定部署。
B1-B5 与 CL1-CL5 区分度仍未压测（fde_report_v3 §五.2 维持有效）：block 3 条、clarify 4 条
全部接近满分，量尺的区分度没有被坏产出压力检验过；仍是 C 级构造性设计、0 真实先例。
url 字面保真覆盖率受限：本轮 13 个带参考图的场景，输入 JSON 均未携带实际 url 字段，
只能交付 url 待补 标注——"原 url 原样保留"的字面保真（不下载/不改链/不转存）依然无法
在无真实 url 的条件下被验证（v3 §五.2 的遗留，v4 场景集把 url 场景从 7 条提到 13 条，
但字段缺省问题依旧）。
TS-26 输入侧缺口：raw_brief 未携带赛道图 note 原文（水印/必须换洗版字样），block 触发
条件按基准声明处理，已在产出与分卡中显式登记；这是场景集构造问题，不是执行问题。
档 4 级轻微扣分未在 Round 2 重跑（非结构性违规，按范围控制只修 D1=3 级）：TS-05/06 summary
前缀多标 audio reference（96）、TS-16 retention 误标 partially_preserved（应为
attribute_transfer，96）、TS-19/20/24 个别窗未做来源图回指（96）、TS-02 质量词 "appetizing"（98）、
TS-10 无显式机位（98）、TS-14 台词未内联对应镜头（98）、TS-15 唇部闭合弱表述（98）。
这些是执行层缺口，SKILL 已有对应规则，留给下一轮（若重启）重跑。
SKILL 篇幅：88,655 B（+35.4%，round 2 增补后终值），已按作用域收口但仍在增长通道上（详见 §二）。
网络受限登记（R2 口径，硬要求 F）：本轮未发起新的外网抓取——所有官方引文均复用
Hunter v4（T-mtbn18a4）已抓取并由 Digester 于 2026-08-27 独立复抓核对的文本
（7 个官方文件全 HTTP 200、sha256 前 16 位比对一致，见 benchmark_v4 §〇.2）。
本轮网络受限事项沿用 knowhow_v4 §11：开放平台 schema 与 conditions[].role 枚举第二信源
仍缺、skills/*/SKILL.cn.md 8 个中文版未抓、飞书标杆文档登录墙未解。按 SOP 未做任何
失败重跑。


七、产出清单（全部 _v4 新文件，未覆盖任何旧版本）


文件
说明


train/evolve/SKILL_v4.md
v0.5.0（round 2 增补 2 条），88,655 B（round 2 增补后终值）


train/evolve/evolve_report_v4.md
本报告


train/evolve/iteration_log_v4.md
两轮迭代日志


train/evolve/round_outputs_v4.md
28 场景执行产出索引 + 反事实判别力自检


train/evolve/_v4_artifacts/inputs/
28 份场景输入快照（JSON）


train/evolve/_v4_artifacts/outputs/
31 份交付物（28 Round 1 + 3 Round 2）


train/evolve/_v4_artifacts/scores/
62 份分卡（JSON+MD，r1/r2 后缀区分）+ _summary_round1/2.json


train/evolve/_v4_artifacts/score_data.js / score_data_r2.js
评分数据（逐条扣分依据）


train/evolve/_v4_artifacts/render_scores.js / render_selfcheck.txt
渲染脚本（修 v3 渲染 bug）+ 自检记录