version: v3 date: 2026-08-27 task: T-mtb75m8u(h3-video-prompt Retrain v3 · EVOLVE 阶段) skill: train/evolve/SKILL_v3.md(v0.4.0,基于线上 v0.3.0 只读基底增量修订) benchmark: train/digest/benchmark_v3.md(9 维度 + C1/C2/C3 三条全局裁决条款,双轨计量) scenarios: test_scenarios_v3.json(TS-01~TS-18,prompt 轨 16 / block 轨 2) iterations: 2(预算 max 10;第 1 轮即满足部署条件,第 2 轮为定向缺陷修复确认)
artifacts: train/evolve/v3_artifacts/{inputs,outputs,scores}|轨迹:iteration_logv3.md|逐场景与条文对照:round_outputs_v3.md
evolve_report_v3 — h3-video-prompt Retrain v3 · EVOLVE
〇、可比性声明(沿用 evolve_report_v2 开头惯例)
本报告的分数是 v3 双轨口径下的数字,与上一轮 99.67 不可直接比较。 C3 生效后:
- prompt 轨成绩 = 该轨 16 场景按 v2 加权口径(Σ 维度得分/5 × 权重)得分的均值;
- block 轨成绩 = TS-09 与 TS-12 各自按 B1-B5 实得分求和;
- 两轨数字分开呈现,禁止合并平均——本文不含任何跨轨合成数字。
99.67 是单一轨道、旧 §3.3 "阻塞=N/A 满分" 机制下的产物,与本轮任何一个数字都不构成同一量纲。
一、结论(先给可验收的三个数)
| 部署条件(C3/c) | 要求 | 实测 | 判定 |
|---|---|---|---|
| prompt 轨均值 | ≥ 90 | 93.88(n=16,算式见 §三) | ✅ |
| block 轨每场景 | ≥ 85 | TS-09 = 100,TS-12 = 98 | ✅ |
| 全场景零静默引用 | 必须 0 | 18/18 为零(block 两场景为 excluded 单列形态,正文/交付 references 不含任何不可用素材) | ✅ |
弱维度分布(全部带具体差距数字):D2/D3/D4/D6 内容缺失型扣分集中在反问清单型三场景 (TS-01/07/08,判分口径争议见 §四),真实产品缺陷两处已修复(TS-16 D1、TS-17 D5), 残余一处轻微表述强度问题([Shot N] 主导运镜声明)。
二、本轮做了什么(SKILL v0.3.0 → v0.4.0)
六点指定修订全部落地到训练目录(线上文件未动),外加 Round 2 的三处定向增补。
每一处的增删对照全文在 round_outputs_v3.md §四(25 处 diff 块逐一列出新旧条文),此处只列索引:
- §0.6 重写两层模型:资产层(原 url 不动、顺序 = 菜单顺序 = 自动编号顺序、url 不进正文层)/
正文层(官方四标签 only +
(Sx))、场景图独立<Picture N>锚点、立绘绑 Subject 序号内联 引用、官方式序号内联来源写法替代文字指代、幽灵编号禁令 + 官方外词法禁令(新增收口规则标级 C)。 - §0.5.5 / §6.3 / 自查清单第 16 条 升级标点双口径作用域条款:两条官方原文逐字引用带行号 (base-en.txt:129、ref-en.txt:274)、来源判定顺序(默认 V,本条标 B 内部规范)、逐句适用、双向反向约束。
- 自查清单第 4 条改述(顺序命题重述)/ 第 5 条改述(非锚点图是否被 Subject 定义句序号认领)。
- 新增 §0.5.9 素材数量上限条款:合计 ≤ 12 文件、超限先告知调用方再裁剪(README.md:85 出处), 并同步进 §0.5.7 第 12 项机械验收。
- 出处标注修正:双说话人稳定 ID 补 base-en.txt:127、Audio N 锚定与 speaker 绑定补 ref-en.txt:92-118 (含 :100/:110/:112 逐字引文)、画外音补 base-en.txt:136/:139 + ref-en.txt:266;JSON 通道可解析性 (§0.5.7 第 11 项)、人物出场过程(§5.3 表第 2 条拆 A/B 半句标注)、道具跨镜头跳变(§5.3 表第 3 条) 三处显式标注内部规范/内部推演。
- §10.1 保持 v0.3.0 原文未动(加一条"v0.4.0 注"说明理由:上轮人工评审收紧结果,本轮无新证据推翻)。
Round 2 定向增补(由实测扣分触发):§6.2 补 Audio 绑定写法示例(TS-16);§6.3 补画外音固定短语 七词连续性约束与违规反例(TS-17);新增 §3.4 基础模式资产层义务(TS-04)。
三、每轮分数(全量 + 可回溯)
Round 1(初稿执行 → 全量打分 → 两处判分侧修正)
| 场景 | r1 报出 | 校准后 | 变化原因 |
|---|---|---|---|
| TS-01 | 72.0 | 72.0 | 反问清单严格口径的基准样本 |
| TS-02 / TS-05 | 100 / 100 | — | — |
| TS-03 | 96 | 96 | — |
| TS-04 | 91.0 | 96.0 | 加法漏项更正(9 个维度项被错加成 91,其维度表应为 96) |
| TS-06 / TS-11 | 98 / 96 | — | — |
| TS-07 | 94 | 70.0 | 口径统一(宽松 N/A → 实体化口径,复算留档) |
| TS-08 | 94 | 76.0 | 同上 |
| TS-13/14/15/18 | 均 100 | — | — |
| TS-16 | 96 | 96 | D1 −4.0(Audio 绑定形式,真实缺陷 → 触发迭代 2) |
| TS-17 | 98 | 98 | D5 −2.0(短语被插语打断,真实缺陷 → 触发迭代 2) |
| block:TS-09 / TS-12 | 100 / 98 | — | B1-B5 全满 / B3 −2 |
r1 校准后均分 = 93.75(16 场景,Σ=1500)。
Round 2(三处增补后仅复跑受影响的 TS-04/16/17)
| 场景 | r1 校准后 | r2 | 弱维度变化 |
|---|---|---|---|
| TS-04 | 96.0 | 98.0 | D7 由档 3 回升档 4(资产层成表 + url 显式待补标注;档 5 因输入本身无 url 不可达) |
| TS-16 | 96.0 | 98.0 | D1 修复确认(<Subject 1> (S1) 内联绑定落入定义句);新暴露 D6 −2.0([Shot 2] 未显式声明主导运镜) |
| TS-17 | 98.0 | 98.0 | D5 修复确认(七词连续、闭唇声明紧跟 </d>);新暴露 D6 −2.0(同上类问题) |
其余 15 条不再复跑:本次三处增补均为新增条文(不改动既有语义),对其它场景理论上中性偏正, 按最小改动纪律不做重复计分,也不把"理论可能更高"计入成绩。
最终合成分
prompt 轨 = (72+100+96+98+100+98+70+76+100+96+100+100+100+98+98+100) / 16
= 1502 / 16 = 93.875 ≈ 93.88 (目标 ≥ 90)
block 轨 = TS-09 100 / TS-12 98 (目标每场景 ≥ 85)
静默引用 = 0 / 18
全部 16 条 prompt 轨记录均通过独立复核算式校验(对每条重新计算 Σ 维度得分/5 × 权重并与总分比对,
其中 TS-04 的初版 91.0 因此被发现为加法错误)。评分详情:_v3_artifacts/scores/*.md|.json。
四、弱维度分析(根因,不是现象罗列)
4.1 真实产品缺陷(已修,有前后证据)
| # | 缺陷 | 根因 | 修复 | 残余风险 |
|---|---|---|---|---|
| 1 | TS-16 D1 −4.0:<Audio 1>/<Audio 2> 定义句内联绑定缺失,对应关系只写在资产层元数据里 |
旧 §6 只有 prose 描述"音色参照",没有把 ref-en.txt:100 的 <Subject N> (Sx) 形式落成写法示例 |
§6.2 增绑定写法示例代码块 + 明确"只放元数据不算完成绑定"的机械验收判定语 | 低(形式可机械化检查,已进自查项) |
| 2 | TS-17 D5 −2.0:画外音固定短语写成 "...says the following aloud without ever opening his mouth in an off-screen voiceover",七词被插语打断 | 官方要求 "use the exact phrase",但旧 §6 示例只有正例没有反例,未见禁止插语 | §6.3 增"逐字相邻、不得插语打断"约束 + 该反例原文进 SKILL | 低 |
| 3 | TS-04 D7 −4.0(r1):L2VA 单图场景整段缺资产层清单 | 两层模型义务只在 Ref2VA 语境展开(§0.6 在 Ref2VA 章节),基础模式章节没有任何提示 | 新增 §3.4 基础模式同样适用 + url 待补显式标注模板 | 中(该场景输入未携带 url,D7 档 5 结构性不可达,见 §五.2) |
4.2 非技能缺陷、但需要如实呈现
反问清单型场景的判分约定缺口(最大单项不确定性)。TS-01「开箱视频」、TS-07「给我做个视频」、 TS-08「矛盾运镜且主体未知」三条在 SKILL §10.1(本轮刻意保持不动)约束下正确行为都是一次性反问、 不出正式 Prompt。此时 D2/D3/D4/D6 这些以"正式 Prompt 正文存在"为前提的维度怎么办,benchmark_v3 没有明文规定。两种读法差 4.1 分:
实体化口径(本轮采用):正文内容维度"义务未履行"记 2/5 → 均值 93.88
宽松 N/A 口径(r1 曾被两个评分实例采用):记满分 → 均值 98.00
(两种口径下部署条件都成立,结论稳健;差异明细全部留在 scores 文件里)
采用实体化口径的理由:C3 的病根诊断就是"非 Prompt 交付物借 N/A 冲高分";而且 r1 里 TS-01 与 TS-07/08 之间确实出现了同一形态两种打分的客观不一致,必须二选一,选保守侧符合训练纪律。 但这不应由 Evolver 拍板即完事 —— 建议下一轮 benchmark 把这一条写死(例如:声明 prompt 轨而 实际产出为澄清件的,D2-D6 按 N/A 记满分、D8/D1/D9 按实体判分;或单设第三轨)。
4.3 未修复的新发现(
- [Shot N] 主导运镜声明的落位强度(TS-16/TS-17 r2 各 −2.0):切镜后的新镜头段落里,主导运镜或 锁定状态只隐含在画面描述里,没有被"每镜必须有显式镜头状态动词"这类硬约束钉住。属于 D6 表述 强度问题而非规则缺失(§5.1/§5.3 已有主导运镜唯一原则),r2 分数仍在优秀区间,按"不为好看继续推" 的纪律停在此处,不放宽也硬塞条文。
五、诚实记录:局限与不能报喜的部分
- 判分依赖 3 个独立评分实例 + 本人复核,不是官方口径机器打分。本文所有"客观一致性"只保证到
scores/*.md的证据链深度;反问清单约定、B3 补料预案判据等人造判据仍有主观空间。 - TS-04/TS-02/TS-03 的 url 是输入根本没给的占位符,"原 url 原样保留"这条 A 级义务在这三条上
只能验证"处置方式正确"(显式标待补),无法验证字面保真。真正含 url 的验证来自 TS-05/06/09/12/13/16/18
七条(含字面
<OSS>占位符逐字保留的核对),覆盖率不足以宣称 100% 达标该判据。 - block 轨样本量 2,且 B1-B5 至今 0 个真实先例(benchmark_v3 §六明示构造性设计)。两条都接近 满分恰恰说明这个分值的区分度未经压力测试 —— 它证明的是"当前技能输出了全部五要素",不是 "85 分这条线的刻度准确"。revision_notes 2.3 已指出代价,本轮不掩饰:达标结论在此两项上是 构造性量尺上的达标。
- 上轮 12 场景没有任何盲区被执行,本轮 6 条盲区全部首跑(TS-13~18 对应资产层/幽灵编号/ 双说话人/音频锚定/画外音/双口径混合),这些维度的"未知基线"已回填为实测分布: D1 新判据实测区间 96~100(除一处绑定形式缺陷)、D5 双口径实测 96~100、幽灵编号零发生、 双向误用零发生。这是本轮最大的信息增益,样本量仍然偏小(各 1-4 条)。
- SKILL 文本膨胀:v0.3.0 约 38 KB → v0.4.0 约 63 KB(+66%)。条款更密意味着调用时的注意力 分摊更散;r2 在未修改的三章里反而冒出新扣点(D6 表述强度),不排除与篇幅有关。若下一轮分数 不升反降,优先怀疑长度副作用而不是判据不足。
- 未动过的外部事实仍不可达(沿用 knowhow_v3 §7):MiniMax 开放平台 schema、
conditions[].role枚举第二信源仍未核实,本轮一切资产层判据刻意只依赖已被证实的uri与顺序两件事,不再扩大 推断范围。
六、train/test 提醒(交接 Digester)
test_scenarios_v3 note_on_split 建议"下一轮首跑后优先用 TS-13~TS-18 回填 train 集"。本轮首跑已完成, 建议同时把上面 §四.2 的反问清单约定裁决一起并入下一版 benchmark —— 否则三场景会继续作为 口径噪声源随每轮波动。