knowhow_v1.md 12.3 KB

Production-Director Phase 1 Hunt — knowhow_v1.md

调研目标:AI 生产指令官 / Prompt Engineer / AI 美术指导 / Spec 中转站 产出时间:2026-04-13 调研 Agent:Hunter


1. 角色定义与边界

1.1 核心定义

production-director 是"运营需求"与"AI 生产引擎"之间的 Spec 中转站。其职责是将模糊的业务需求(如"做一张春天氛围的 App 开屏图")转化为可被 Stable Diffusion、Midjourney、DALL·E、ComfyUI 等引擎精确执行的生成指令。

1.2 职责边界(画什么 vs 不画什么)

画什么(In-Scope) 不画什么(Out-of-Scope)
需求解析与结构化 不直接执行画图或手动修图
Prompt 工程与参数映射 不做最终品牌法务审核
引擎选型与下发 不替代美术总监的创意决策
结果回收、质检与重试 不管理模型训练或 Fine-tuning

2. 需求接收与解析模型

2.1 模糊需求 → 结构化要素

上游需求通常是"一句话描述"。production-director 必须将其解析为 可控的生成要素。推荐采用扩展版 DSRDPE 框架(Demand → Subject → Render → Detail → Parameter → Exclude):

要素 说明 示例
Demand 需求类型/场景 电商主图 / 社交海报 / 概念设计
Subject 主体对象 产品、人物、场景、情绪
Render 渲染风格 摄影、插画、3D、油画、像素
Detail 细节指令 构图、光照、色彩、材质、镜头
Parameter 技术参数 画幅、步数、CFG、种子、模型
Exclude 排除项 负面提示词、禁忌元素

2.2 需求澄清 Checklist

接收需求时必须确认:

  • [ ] 最终用途是什么?(广告/应用内/印刷/数字展示)
  • [ ] 必须出现的元素有哪些?
  • [ ] 绝对不能出现的元素有哪些?(Logo、特定人物、裸露、文字)
  • [ ] 风格有无参考图或参考艺术家?
  • [ ] 尺寸比例与分辨率要求?
  • [ ] 是否需要系列风格的批量一致性?

3. Spec/Prompt 工程方法论

3.1 Prompt 长度控制

不同引擎对 Prompt 的敏感度差异极大:

引擎 推荐长度 语法特点
Midjourney 短至中等( 关键词权重高,自然语言理解强
Stable Diffusion 详细(50-200词) 关键词驱动,顺序影响权重
DALL·E 3 长自然语言(完整句子) 擅于理解叙事和复杂场景描述
ComfyUI 不限制 Prompt 只是节点图中的一个字符串输入

通用原则:先写核心主体,再写风格修饰,最后写技术参数。

3.2 风格标签体系

建立可复用的风格标签库能大幅提高批量生产效率:

  • 摄影风格:cinematic shot, studio lighting, bokeh, macro, drone view
  • 艺术媒介:oil painting, watercolor, digital art, pixel art, vector illustration
  • 视觉情绪:minimalist, chaotic, serene, dramatic, dystopian
  • 时代/流派:Art Nouveau, Bauhaus, Cyberpunk, Retro-futurism

3.3 负面提示(Negative Prompt)工程

负面提示是生产质量的"安全带"。学术界已提出 NPC(Negative Prompt Candidate) 自动化生成-评估-精炼流水线:

分层负面提示模板:

  1. 质量基线:blurry, pixelated, low resolution, grainy, distorted, noise, compression artifacts, watermark, text, signature
  2. 解剖锁:extra limbs, missing fingers, deformed hands, distorted face, asymmetric eyes
  3. 风格锁(按需):cartoon, anime, illustration, painting, sketch(当需要写实风格时)
  4. 环境锁:cluttered, busy background, distracting elements

工程建议:为不同项目维护标准化的 negative-prompt preset,在 ComfyUI 中可通过 CLIPTextEncode 节点或 YAML 配置直接注入。

3.4 参数映射规范

production-director 需要将业务语言映射为引擎参数,建议建立统一的内部参数表:

业务语义 SD/ComfyUI 参数 Midjourney 参数 DALL·E 参数
画幅比例 width/height --ar size
创意自由度 cfg_scale --stylize / --chaos 提示词语义
生成步数 steps --quality / 隐式 隐式
固定种子 seed --seed seed
采样算法 sampler_name (euler_a, dpmpp_2m) 隐式 隐式

4. 主流 AI 绘画引擎的接口规范与差异

4.1 Stable Diffusion / SDXL

  • 接口形式:大部分时间通过 WebUI (AUTOMATIC1111) 或 API 调用
  • Prompt 特点:对关键词顺序和权重敏感,支持括号权重 (word:1.2) 和 LoRA/Embedding 调用 <lora:name:1>
  • 最佳实践:SDXL 对自然语言理解优于 1.5,但仍建议将核心主体放在前面

4.2 Midjourney

  • 接口形式:Discord Bot 或 API (Midjourney API/第三方代理)
  • Prompt 特点:V6/V7 对自然语言理解大幅提升,支持高级参数 --ar, --stylize, --chaos, --cref, --sref
  • 最佳实践:V6 应避免过度堆砌关键词,使用完整句子效果更佳

4.3 DALL·E 3 (OpenAI)

  • 接口形式:OpenAI API (images/generations)
  • Prompt 特点:目前最强的"自然语言理解",擅长长描述和叙事性场景
  • 最佳实践:提供具体细节和场景上下文,避免简单罗列关键词。官方 Cookbook 建议将 Prompt 写成一个完整的场景描述段落

4.4 ComfyUI

  • 接口形式:本地/云端节点式工作流,API 提交 workflow_api.json
  • 核心规范:
    • UI 格式 (workflow.json) 包含前端画布信息,不可直接用于 API
    • API 格式 (workflow_api.json) 才是生产调用格式:一个以节点 ID 为键的扁平字典,每个节点包含 class_type 和 inputs
    • Prompt 通过 CLIPTextEncode 节点注入,通常分为 positive 和 negative 两个节点
    • 节点间引用语法:["source_node_id", output_index]
  • 最佳实践:
    • 在 CLIPTextEncode 的 text 字段中使用占位符(如 {{PROMPT}}),运行时替换
    • 保存通用工作流模板(15-20 节点的精简模板),配合不同需求注入不同 Prompt

ComfyUI API JSON 结构示例:

{
  "4": {
    "class_type": "CLIPTextEncode",
    "inputs": {
      "text": "{{PROMPT_POSITIVE}}",
      "clip": ["1", 1]
    }
  },
  "5": {
    "class_type": "CLIPTextEncode",
    "inputs": {
      "text": "blurry, low quality, watermark, text",
      "clip": ["1", 1]
    }
  },
  "3": {
    "class_type": "KSampler",
    "inputs": {
      "seed": 12345,
      "steps": 20,
      "cfg": 8.0,
      "sampler_name": "euler",
      "scheduler": "normal",
      "model": ["1", 0],
      "positive": ["4", 0],
      "negative": ["5", 0],
      "latent_image": ["2", 0]
    }
  }
}

5. 下发与反馈闭环

5.1 任务状态追踪

production-director 应该维护一个轻量级任务看板:

状态 含义
pending Spec 已生成,等待下发
dispatched 已提交给 AI 引擎
generating 引擎正在执行(排队/生成中)
qc_review 结果已回收,等待质检
approved / rejected 质检通过 / 不通过
retrying 根据反馈重新生成

5.2 失败处理与重试策略

  • 引擎超时/排队:自动切换备用引擎(如 Midjourney 拥堵时切到 DALL·E 3)
  • 生成内容不符合预期:分析失败模式,调整 Prompt 或参数后重试
  • 解剖/风格错误:更新 Negative Prompt 或增加 ControlNet 约束
  • 技术故障(ComfyUI 节点缺失):通过 object_info.json 预检节点可用性,执行 bypass 策略

5.3 回传格式

回收的结果应包含:

  • 生成的图片 URL/Base64
  • 使用的完整 Prompt 与参数
  • 种子号(用于复现)
  • 质检评分与备注
  • source_engine 与 generation_time

6. 质量控制 Checklist

基于 AI 美术指导的 7 层 Director's Checklist 进行工程化落地:

# 检查层 检查项
1 Identity(主体一致性) 形状、配色、材质、比例是否与需求一致
2 Context(场景上下文) 尺度、环境、背景是否合理
3 Composition(构图) 景别、取景、主体位置是否合规
4 Light(光照) 光源方向、质感、氛围是否统一
5 Lens & Camera(镜头语言) 焦段、景深、运动模糊是否合适
6 Constraints(约束项) 是否出现 extra limbs、文字、Logo、违禁内容
7 Workflow(流程一致性) 同一批次种子是否锁定、参数是否统一、命名是否规范

自动化质检补充:

  • 使用 CLIP/LLM 进行"图文对齐度"打分
  • 使用 NSFW/文字检测模型进行安全过滤
  • 对 ComfyUI 工作流执行 6 步验证:GUI→API 转换 → 节点检测 → 依赖分析 → Bypass 策略 → 端点测试 → 输出清洁模板

7. 常见反面案例与风险规避

7.1 反面案例集

案例 问题描述 后果 规避方法
关键词堆砌 将 50 个无关修饰词塞进 Prompt 模型注意力分散,主体畸形 控制 Prompt 长度,使用 DSRDPE 分层
忽略 Negative Prompt 未设置解剖锁或水印锁 生成图中出现多余手指、水印 建立标准 Negative Prompt Preset
引擎混用 将 Midjourney 的 --ar 语法写入 SD API 报错或参数被忽略 建立引擎专属的参数映射表
占位符泄露 {{PROMPT}} 未替换就提交 生成图里出现文字 {{PROMPT}} 提交前执行字符串替换验证
节点缺失 ComfyUI 工作流使用了未安装的自定义节点 流水线崩溃 通过 object_info.json 做预检
分辨率不匹配 生成 512×512 的图片用于户外大屏 打印模糊 需求接收阶段确认最终输出尺寸

7.2 合规与伦理风险

  • 肖像权:避免使用真实人物姓名生成形象(除非获得授权)
  • 版权:注意艺术家风格标签的版权争议
  • 内容安全:建立 NSFW、暴力、歧视内容的自动过滤机制
  • 平台政策:不同引擎对生成内容的商用权限不同,需明确标注

8. 参考素材清单(≥10 条)

# 标题/来源 类型 链接
1 Adversarial Attacks and Defenses on Text-to-Image Diffusion Models: A Survey 学术论文 arxiv.org
2 Prompt Engineering Best Practices: Tips, Tricks, and Tools 实践指南 DigitalOcean
3 How to Become the Best Prompt Engineer in 2024 职业指南 Vellum
4 Your AI Production Pipeline: From Prompt to Pixels in 2025 行业博客 ReelMind.ai
5 Automated Negative Prompting for Text-Image Alignment 学术论文 arXiv
6 ComfyUI Workflow Verification — 6-step validation pipeline 工具/实践 GitHub
7 COMFYGEN: Prompt-Adaptive Workflows for Text-to-Image Generation 学术论文 arXiv
8 ComfyGPT: A Self-Optimizing Multi-Agent System for ComfyUI Workflow Generation 学术研究 arXiv
9 ComfyUI-R1: Exploring Reasoning Models for Workflow Generation 学术研究 arXiv
10 DALL-E 3 / GPT-image-1.5 Prompting Guide 官方文档 OpenAI
11 Prompt Structure for AI Image Generation 教育博客 Christy Tucker
12 Enhanced Negative Prompts for AI Image Generation 开源工具 GitHub
13 Negative Prompts: What They Are & How To Use Them 实践教程 LTX Studio

本文件由 Hunter 在 Phase 1 Hunt 阶段产出,供 Innovator / Digester / Evolver 后续流程使用。