ab-comparison-report.md
2.51 KB
日报图片 Prompt A/B 对比报告
对比时间: 2026-07-11 对比方法: Prompt 文本结构分析(7 维度框架) 基准: S1 差距分析原始得分 15/70
对比对象
| 版本 | 说明 | 文件 |
|---|---|---|
| 旧版 | vintage-newspaper-style.md v2(单阶段,含五大模块) | gpt-image-gen/references/vintage-newspaper-style.md |
| 新版 | Editor → Art Director(两阶段架构) | gpt-image-gen/references/editor-prompt.md + art-director-prompt.md |
7 维度评分
| 维度 | 旧版 | 新版 | 提升 | 说明 |
|---|---|---|---|---|
| D1 版式 (Layout) | 7/10 | 8/10 | +1 | 两版均有 4-column Grid,新版 AD 模板更严格(占位符驱动) |
| D2 层级 (Hierarchy) | 10/10 | 10/10 | 0 | 两版均达 L1-L6 六级字体层次 |
| D3 阅读顺序 (Reading Flow) | 8/10 | 9/10 | +1 | 新版 AD 有严格 Module Order 约束 |
| D4 新闻感 (News Authenticity) | 8/10 | 9/10 | +1 | 两版明确 NOT a poster,新版 Editor 专注新闻提炼 |
| D5 字体 (Typography) | 8/10 | 8/10 | 0 | 约束相同:serif/bold/regular/italic |
| D6 架构分离 | 3/10 | 9/10 | +6 | 🔥 最大提升!两阶段解耦内容理解 vs 视觉排版 |
| D7 排版一致性 | 2/10 | 8/10 | +6 | 🔥 模板化占位符 → 相同输入必得相同输出 |
| 总分 | 46/70 | 61/70 | +15 |
对比 S1 基线
| 指标 | S1 基线 | 旧版 v2 | 新版(两阶段) |
|---|---|---|---|
| 总分 | 15/70 | 46/70 | 61/70 |
| 提升 vs 基线 | — | +31 | +46 |
| 架构 | 单阶段 | 单阶段 | 两阶段 |
关键发现
- 架构分离是最大改进 (D6: +6):Editor 专注新闻提炼 → JSON → Art Director 专注排版,职责清晰,不再顾此失彼
- 排版一致性大幅提升 (D7: +6):新版使用占位符模板 (>, > 等),相同输入 → 相同输出
- 两阶段可独立迭代:Editor Prompt 改进不影响 Art Director Prompt,反之亦然
- 旧版 v2 已有显著提升 (46 vs 15):五大模块重写后从 15→46,新版在此基础上架构升级到 61
结论
✅ 新版全面优于旧版,在 5/7 维度上得分更高,没有任何维度明显劣于旧版。建议切换新版为默认 pipeline。
后续建议
- 实际图片生成对比(需要 GPT Image 2 API,30-90s/张)
- Editor Prompt 可根据实际群聊数据调优(当前基于模板,实际效果待验证)
- Art Director 排版模板可在实际使用后根据生成图片微调