benchmark_v2_revision_notes.md
18 KB
version: v2 generated_by: innovator-digest date: 2026-08-26 based_on_feedback: conv-mtabpqx9 eval 6/10
supersedes: benchmark_v1.md
benchmark v1 → v2 修订说明 — h3-video-prompt
本文件记录 v1 → v2 的每一个维度/判据变化及其触发来源，供 org-innovator 审阅与后续校准。 对应的正式产出：
benchmark_v2.md（9 维度）+test_scenarios_v2.json（12 场景）。
一、触发源（一句话）
真实生产场景 conv-mtabpqx9「你出去看看」人工评测 6/10（feedback_eval.md），暴露 v1 六维度未覆盖的
6 类失败模式：对白逐字保真/<d> 格式、素材可用性预检与阻塞、输入冲突解决、意图忠实与扩写边界、
镜头语言一致性、输出前机械校验。v2 的设计目标是把这 6 类全部变成"可判分的落点"。
二、维度变化总表（v1 6 维 → v2 9 维）
| v2 维度 | v2 权重 | 来源 | 变化类型 |
|---|---|---|---|
| D1 官方输入模式覆盖度（核心锚点） | 20 | v1 D1（25） | 保留，权重下调（原因见 §四） |
| D2 结构化字段完整性 | 10 | v1 D2（15） | 保留，权重下调 |
| D3 声音设计完整性（含 N/A 精确条件） | 10 | v1 D3（15） | 保留 + 精确化：判据锚点升级为 evolve SKILL.md §7 的 N/A 精确条件（evolve_report 4.4） |
| D4 具体性 vs 空洞质量词 | 10 | v1 D4（15） | 保留，权重下调 |
D5 对白逐字保真与 <d> 格式（硬性规范） |
10 | v1 D5 的对白部分拆分 + feedback_eval 问题 1 强化 | 拆分 + 改名 + 升级（承接 F1） |
| D6 运镜与镜头语言一致性 | 10 | v1 D5 的运镜部分拆分 + feedback_eval 问题 4/6 + knowhow §3/§6 | 拆分 + 改名 + 扩容（承接 F5） |
| D7 素材可用性预检与阻塞报告（生产级硬行为） | 10 | feedback_eval 问题 2 + 七步工作流第二步 | 新增（承接 F2） |
| D8 意图忠实与扩写边界（含输入冲突解决） | 10 | feedback_eval 问题 3/4/5 + 七步工作流第三、四步 | 新增（承接 F3+F4） |
| D9 输出前机械校验 | 10 | feedback_eval 问题 7 + 七步工作流第七步 + evolve_report 4.3 | 新增（承接 F6） |
合计 = 20 + 10×8 = 100。
三、每个 v1 维度的去向（逐条）
D1 官方输入模式覆盖度（25 → 20）
- 变化：保留为核心锚点（v2 唯一最高权重），权重从 25 降到 20；封顶规则（≤1→40 / =2→60 / ≥3 不封顶）原样保留。
- 为什么保留封顶：baseline_target.md §四 已核实——90 分硬性部署线的可达性以 D1 六字段结构完整为前提， "真正的风险不在 90 分定得过高，而在 D1 封顶规则"。模式误判是结构性灾难，不能靠其他维度稀释。
- 判据增补：把 knowhow §6"首尾帧模式与全参考模式混用"从 v1 的 D6 归并进 D1 的 2 分档（模式误判的 一种具体形态），因为它在性质上是模式识别错误，不是"常见错误清单"里的杂项。
D2 结构化字段完整性（15 → 10）
- 变化：保留，权重下调。判据内容基本不变。
- 为什么下调：生产评测没有在字段完整性上失分（agent 六段结构用对了），它不是这次要修的短板。 同时把 v1 D6 里"字段名称/结构混写"类错误归并回本维度。
- 遗留说明：evolve_report 4.3 指出"Part One 起始指令行正确性"在 v1 没有专属判据，只能挂靠在 D2 的 "字段名称/结构使用不规范"档。v2 把指令行正确性（含占位符解析）明确落到 D9（机械校验），不再挂靠 D2—— 见 §四 第 8 条。
D3 声音设计完整性（15 → 10）
- 变化：保留 + 判据精确化。新增 N/A 精确条件：
overall_soundscape只有用户明确要求全程完全静音才写 N/A；non_diegetic_music无配乐时必须显式写 N/A。 - 触发来源：evolve_report 4.4——"声音设计 N/A 精确条件在本轮 8 个测试场景里完全没有被实际验证过"。 v2 为此新增 TS-10，把这条从未被触发的规则真正跑一遍。
- 顺带修正：baseline_target.md §3.2 的构造 target 样本把
overall_soundscape写成N/A（室内近景，无明显环境音）——按 evolve SKILL.md §7 的精确条件这是错误用法（环境声轻微不等于 用户要求静音）。v2 以 evolve SKILL.md §7 为准，不再沿用 baseline_target 的宽松 N/A。
D4 具体性 vs 空洞质量词（15 → 10）
- 变化：保留，权重下调。判据内容不变（knowhow §4，多信源印证最扎实的一条）。
- 为什么下调：同 D2——生产评测没有在此维度失分。
D5 运镜/对白语法规范性 → 拆成 D5 + D6
v1 的 D5 同时管"运镜术语/主导运镜"和"对白 (S1)/<d> 语法"两件不相干的事。v2 按失败模式拆开：
- 新 D5 对白逐字保真与
<d>格式（承接 F1）：在 v1 对白语法基础上，把"逐字保真"提到核心位置—— 原词、语序、原始标点逐字保留，不翻译、不润色、不补词、不擅自加句号/感叹号/省略号；(Sx)编号稳定； 说话方式/音色/动作写在<d>外。新增硬错误下限：对白未用<d>包裹或台词擅自改动 → 总分上限 75。 - 新 D6 运镜与镜头语言一致性（承接 F5）：在 v1 运镜术语基础上，加入跨字段/跨镜头一致性判据——
单镜头主导运镜唯一（
static shot with small amplitude shake为反例）、"唯一光源"真的唯一、人物出现 要有过程、道具位置不跨镜头跳变、summary/retention_analysis/detailed_description 讲同一件事、 Shot 编号与切镜时间连续。
为什么加硬错误下限：feedback_eval 问题 1 原文"对白格式属于硬性错误"，且七步工作流第七步把"所有对白
使用 <d>""台词逐字保真"列为"任一硬性检查失败就先修复再输出"的检查项——这类错误必须用封顶机制挡住，
不能靠其他维度的高分稀释到及格线以上。
D6 常见错误规避 → 拆散归入各自然维度
v1 的 D6（常见错误规避，15 分）是一个"兜底"维度，把 knowhow §6 的 6 类新增错误塞在一起。v2 把它拆散， 每类错误归入其最自然的维度，消除"一个维度管 6 种不相干错误"的判分模糊：
| v1 D6 里的错误 | v2 归入 |
|---|---|
| 用元指令代替具体描述（"越震撼越好"） | D8（扩写边界——用户元指令不能照搬）+ D4 |
| 参考素材未声明职责就堆叠使用 | D7（素材职责声明） |
| 时间戳重叠或有间隙 | D6（镜头一致性） |
| 单镜头短于 1.5 秒 | D6（镜头一致性，标注为第三方经验非官方限制） |
| 首尾帧模式与全参考模式混用 | D1（模式误判） |
| 声音部分留空/省略或 N/A 用错 | D3（声音设计） |
新增 D7 素材可用性预检与阻塞报告（承接 F2）
- 触发来源：feedback_eval 问题 2——scene 图带"AI生成"水印+飞书角标、要求换清洗版，产出仍静默引用进
references。评审原文"这是很严重的生产问题：skill 会把已知污染素材送进模型"。 - 判据设计：以七步工作流第二步的四步逻辑为骨架（视为不可用 → 不得静默引用 → 报告缺失替代素材 → schema 无错误通道时明说冲突）。正确行为（报告阻塞）与错误行为（静默引用）双向成档。
- 硬错误下限：必需素材不可用且无替代时静默引用 → 总分上限 70（比 D5 的 75 更严，对应"很严重的 生产问题"的定位）。
- 新增 §3.3 阻塞产出评分规则：当正确阻塞时产出是阻塞报告而非 Prompt，其余维度按"未发生违规=满分" 处理（沿用 evolve_report 4.2 对 TS-07 的判断性打分惯例）；折中行为（报阻塞还附带污染输出）按最严重 行为判。
新增 D8 意图忠实与扩写边界（含输入冲突解决）（承接 F3+F4）
- 触发来源：feedback_eval 问题 3（擅自添加剧情结论）、问题 4（光源设定自相矛盾）、问题 5（部分细节 没有来源）。评审明确点出 skill 没有区分"输入事实 / 图片可见信息 / 低风险可拍摄细节 / 会改变剧情的高风险 推断"。
- 判据设计：两个各占 50% 的子块——子块 A 冲突解决（七步工作流第三步的优先级表 + 最小改动原则）、 子块 B 扩写边界（七步工作流第四步的低风险/高风险分类）。合并成一个维度的理由是两者同属"忠实执行用户 意图"这一性质；分开成子块的理由是各自的判据锚点独立可追溯。
- 内部语义保留：本维度区分"被阻塞"（D7）与"主动跳过/臆造"（D8）两种失败——即使行业惯例常合并处理， v2 保留这个更细的语义（有意的设计选择）。
新增 D9 输出前机械校验（承接 F6）
- 触发来源：feedback_eval 问题 7——"这类问题不应该只依赖'写得聪明'，而应有固定检查"。
- 判据设计：以七步工作流第七步的 11 项检查清单为骨架，但只保留结构性机械项（段落齐全顺序正确、
字段名精确、
<Subject N>/<Picture N>编号一致、references 顺序对应、立绘仅绑定人物、JSON 可解析、 无占位符），对白/素材/剧情类内容问题由 D5/D7/D8 各自判分，避免重复扣分。 - 吸收 evolve_report 4.3：把"起始指令行占位符（
Shot N/S.SS）是否解析成具体数值"作为 D9 的 明确判据，解决 v1 里指令行正确性挂靠 D2 不全的问题。
四、权重变化的理由（整体逻辑）
v1 权重结构：D1=25，D2-D6 各 15（结构/质量类合计 75）。
v2 权重结构：D1=20，D2/D3/D4=10（结构/质量类合计 30），D5-D9=10（行为类合计 50）。
分配逻辑：
- D1 保持最高（20）：它是唯一被 knowhow §8 标为"❌完全缺失"的结构性缺口，且 D1 封顶规则是 90 分 部署线可达性的关键路径。从 25 降到 20，是因为 v1 时期"只有 D1 是短板、其余维度都被验证为准确"的 前提在 v2 已经不成立——生产评测证明 D5-D9 这些行为类维度才是真实失分点，不能继续让结构锚点独占 四分之一权重。
- 行为类（50）压过结构类（30）：6 类失败模式全部落在"约束遵循与生成前校验"上。如果沿用 v1 的结构 优先权重，"写得漂亮但约束全违反"的产出仍可能拿到体面总分——这正是 v1 没能拦住 conv-mtabpqx9 （6/10）的原因。行为类合计必须成为权重主体。
- 行为类内部 5 个维度均等（各 10）：6 类失败模式没有足够的真实先例证明某一类比另一类重要得多 （只有 conv-mtabpqx9 一个样本），所以给均等权重，靠 D5/D7 的硬错误下限（而不是权重差）来表达 "对白格式错误、静默引用污染素材"这两类比"镜头小矛盾"更严重。这是有意的设计：严重性差异用封顶表达， 权重保持干净可解释。
- 结构类 D2/D3/D4 从 15 降到 10：这三条在 v1 已被多信源验证为准确（knowhow §8 校准表），且生产 评测未在它们身上失分。它们仍重要（30 分），但不是这次修订要修的短板，权重相应下调。
五、封顶/硬错误规则的调整理由
| 规则 | v1 | v2 | 理由 |
|---|---|---|---|
| D1 封顶 | ≤1→40 / =2→60 / ≥3 不封顶 | 保留不变 | baseline_target §四 验证它是 90 分线可达性的关键路径 |
| D5 硬错误下限 | 无 | 新增：≤2 档 → 上限 75 | 对白未用 <d> / 擅自改台词是"硬性格式错误"，必须修复再输出（feedback_eval 问题 1 + 七步工作流第七步） |
| D7 硬错误下限 | 无 | 新增：≤2 档 → 上限 70 | 静默引用不可用素材是"很严重的生产问题"（feedback_eval 问题 2），比对白格式错误更不可接受 |
| 阻塞产出评分 | 无 | 新增 §3.3 | 正确阻塞时产出形态是报告而非 Prompt，评分方式必须单独定义，否则判不出"报阻塞 = 高分"与"静默引用 = 低分"的判别力 |
六、test_scenarios 变化（TS-01~TS-08 → TS-01~TS-12）
保留并更新 TS-01 ~ TS-08
8 个场景全部保留，scoring_points 按 v2 维度体系更新落点：
- TS-01（T2VA）：D1 + D8（扩写边界：信息缺失反问）+ D4 + D9（三字段结构）。
- TS-02（I2VA）：D1 + D9（起始指令行与
<Picture 1>编号）+ D2 + D6。 - TS-03（FL2VA）：D1（时间戳）+ D1/D6（首尾帧 vs Ref2VA 混用）+ D9（占位符解析，吸收 evolve SKILL.md §3.1）+ D4/D8。
- TS-04（L2VA）：D1 + D8（反推过程限低风险，不添加剧情）+ D4 + D6。
- TS-05（Ref2VA）：D1 + D7（素材职责声明）+ D4 + D9。
- TS-06（Ref2VA）：D1（多图同一主体）+ D7 + D3 + D6（时间戳连续）。
- TS-07（信息不足）：D8（不臆造，反问）+ D1（模式预判）+ D9（不伪造合规 JSON）+ Never Rules。
- TS-08（矛盾指令）：D6（拆镜/取舍）+ D4 + D8（元指令不照搬）+ D9。
新增 TS-09（真实生产场景复现，判别样本）
- 输入直接取自 feedback_eval.md「受评测的真实场景 b 输入」（conv-mtabpqx9），模式 Ref2VA（I2VA 混合）。
- 这是基准里"已知会失败的样本"（呼应训练教训：评测基准要放至少一个明知有缺陷、理应得低分的样本）： 按 v1 式行为（静默引用带水印 scene 图、补句号、写两个光源、自定剧情）产出，会同时触发 D7 硬错误下限 （70）、D5 硬错误下限（75）、D8 档 2、D9 档 3——必然落到不合格档，验证基准的判别力。
- scoring_points 覆盖：素材阻塞（报阻塞 vs 静默引用双向判据）、对白逐字保真（无句号不加句号）、
光源冲突最小改动（蜡烛保留但未点燃）、无高风险剧情推断（女子反应中性开放）、references/
<Picture N>一致性。
新增 TS-10（N/A 精确条件覆盖）
- 用户明确"不需要背景音乐、不需要任何环境音、全程完全安静"。
- 触发 evolve_report 4.4 标记的判据覆盖缺口：
overall_soundscape只在用户明确要求全程静音时写 N/A；non_diegetic_music无配乐时显式写 N/A；留空/不提及/环境声轻微却标 N/A 均为错误。
新增 TS-11（带标点对白逐字保真）
- 与 TS-09 互为反向验证：TS-09 测"无句号台词被擅自加句号"，TS-11 测"带感叹号台词必须保留感叹号"。
- 同时测试单句台词下"对方反应保持中性、短暂、开放"（无高风险剧情推断）。
新增 TS-12（多种禁用 note 类型区分）
- 把素材预检从"单一水印"扩展到"A 无水印替代（→ 阻塞）、B 有替代（→ 选对版本）、C 无限制（→ 正常引用）"。
- 测试 agent 不是一刀切全部阻塞或全部静默引用，而是按 note 逐项区分处理。
coverage_summary 更新
- modes_covered：T2VA x3 / I2VA x1 / FL2VA x1 / L2VA x1 / Ref2VA x4 / 信息不足 x1 / 矛盾指令 x1。
- difficulty_distribution：基础 3 / 中等 3 / 困难 4 / 边界 2。
- failure_mode_coverage：6 类失败模式各自标注了被哪些场景触发（见 JSON）。
七、诚实标注：哪些判据是构造性设计，哪些有真实先例
按公司训练教训（评测维度无真实先例时必须明确标注为构造性设计）：
| 判据 | 先例状态 |
|---|---|
D5 对白逐字保真与 <d> 格式 |
1 个真实先例（conv-mtabpqx9：[Chinese] 你出去看看。），档位粒度（5 档）为构造性设计 |
| D7 素材预检与阻塞 | 1 个真实先例（conv-mtabpqx9：水印 scene 图被静默引用），阻塞报告的正确形态来自七步工作流第二步，属于构造性设计——因为 conv-mtabpqx9 里 agent 没有正确阻塞过，基准里"正确阻塞 = 高分"这一侧没有真实产出样本，是合理推演 |
| D8 冲突解决/扩写边界 | 1 个真实先例（conv-mtabpqx9：光源矛盾、擅自加剧情），优先级表与低/高风险分类来自评审给出的七步工作流，属于构造性设计（评审专家的合理推演，非 agent 真实产出） |
| D6 镜头一致性 | 1 个真实先例（conv-mtabpqx9：static shot with small amplitude shake），跨字段一致性判据为构造性设计 |
| D9 机械校验 | 1 个真实先例（conv-mtabpqx9：六段结构正确但缺固定检查），检查清单来自七步工作流第七步，构造性设计 |
| D1/D2/D3/D4 | 多信源 + v1 已校准（knowhow §1.1/§4/§5 + evolve SKILL.md），真实先例充分 |
结论：D5-D9 五条新维度各自只有 1 个真实生产先例（conv-mtabpqx9），档位粒度和"正确行为侧"（报阻塞、 无剧情推断等）多为评审专家推演的构造性设计。首次重训后用 TS-09/TS-10/TS-12 的真实产出回填 train 集， 可逐步把构造性判据换成真实校准过的判据。
八、遗留事项（需要 org-innovator 拍板或后续排期）
- TS-07/阻塞产出的"N/A=满分"惯例是否需要正式固化：v2 沿用了 evolve_report 4.2 对 TS-07 的 "未发生违规=满分"处理，并扩展到阻塞产出（§3.3）。这是一个解释性选择，建议下次基准修订时正式确认。
- D7 阻塞侧（正确报告阻塞 = 高分）没有真实产出样本：基准里的"正确行为"侧目前是构造性设计。若 org-innovator 有真实"正确阻塞"的生产记录，建议回填做一次校准。
- 对白硬错误（D5 下限 75）与素材硬错误（D7 下限 70）的阈值是本次推导的构造值，尚未用真实打分验证 梯度是否合理；首次重训后按真实分数分布微调。
- agent.md 语言规则冲突：evolve_report 4.5 指出 agent.md"交付形态"与官方"结构化字段必须英文"冲突， 不在本次 Digest 任务范围内，建议单独排期校准。
- 飞书标杆文档仍不可达（knowhow §9 / feishu_access_status.md），如后续人工提供正文/截图，需重做 一轮逐条对比校准。