--- description: 从素材(新闻、故事、段子等)自动生成 classic 互动剧本(含角色图、场景图)并写入数据库 --- # create-drama — 从素材自动生成完整 classic 互动剧本 根据用户提供的内容素材(新闻、故事、段子、历史事件等),生成一个完整的 classic 类型互动剧本,包括: - 剧本数据(角色、台词、表情、动作、语音情感指令) - 角色立绘图(AI 生图 → 去背景 → 上传 OSS) - 背景图和封面图(AI 生图 → 上传 OSS) - 写入数据库 + 生成 bundle.json 上传 OSS(创建后立即可播放) ## 输入 用户会在 `$ARGUMENTS` 中提供内容素材。素材可能是: - 一段新闻报道 - 一个故事/段子 - 一个历史事件描述 - 一个创意想法 - 一个文件路径(需要先读取文件内容) ## 执行步骤 ### 第 1 步:分析素材 仔细阅读用户提供的素材内容。如果是文件路径,先用 Read 工具读取文件。 ### 第 2 步:生成完整剧本 JSON 根据素材内容,你自己(Claude)直接生成剧本数据 JSON。**��要调用任何外部 LLM API。** 生成的 JSON 必须严格遵循以下格式: ```json { "name": "剧本名称(简短,2-6个字)", "title": "显示标题(可以带 emoji,稍微长一点)", "subtitle": "— 副标题 —", "description": "剧本简介(一句话概括)", "systemPrompt": "用于后续 AI 续写的系统提示词(详见下方规则)", "isPublic": false, "userId": 1, "tags": "标签1,标签2,标签3", "language": "内容语言:en / zh / multi", "i18n": { "name": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "title": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "subtitle": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "desc": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "sysPrompt": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." } }, "characters": [ { "name": "角色名", "nameI18n": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "gender": "male 或 female", "voiceId": "音色 ID(从6个可用音色中选择)", "imagePrompt": "角色立绘生图 prompt(详见下方规则)" } ], "script": [ { "character": "角色名(必须在 characters 中定义过)", "dialogue": "台词内容", "dialogueI18n": { "en": "...", "ja": "...", "es": "...", "pt": "...", "id": "..." }, "avatar": "表情文件名", "instruction": "(可选)语音情感指令", "action": "动画效果", "position": "left 或 right" } ], "backgroundPrompt": "背景图生图 prompt", "coverPrompt": "封面图生图 prompt" } ``` ### 生成规则 #### 角色 (characters) - 数量:2-5 个 - 每个角色必须有 name、gender、voiceId、imagePrompt - voiceId 选择:当前仅有 6 个豆包复刻音色可用,全部支持中英日西印葡多语言,无需单独设置 voiceIdEn - 所有复刻音色统一支持 9 种情感(happy/sad/angry/surprised/fear/hate/excited/coldness/neutral) - 音色 ID 均以 `S_` 开头,使用 `seed-icl-2.0` 引擎 - 可用音色列表: - `S_Ex8na7LH1` — Howard(男,适合搞笑/技术宅/配角) - `S_Dx8na7LH1` — Sheldon(男,适合毒舌/学霸/较真角色) - `S_Cx8na7LH1` — Penny(女,适合活泼/女主/社交达人) - `S_Bx8na7LH1` — Leonard(男,适合温和男主/理性角色) - `S_Ax8na7LH1` — Amy(女,适合知性/认真/学术型女性) - `S_zx8na7LH1` — Raj(男,适合害羞/异域/感性角色) - 根据角色性格匹配合适的音色,尽量让不同角色使用不同音色 #### 角色立绘 imagePrompt 每个角色必须生成 imagePrompt,遵循以下要求: **核心任务**不是"画一个泛泛的二次元人物",而是"忠实还原这个角色属于什么时代、什么身份、什么年龄、什么气质"。 必须遵守: 1. 视觉设定必须优先服从剧本时代与角色身份。古风就必须是古风,宫廷就必须是宫廷,未来赛博就必须是未来赛博,不能偷懒改成现代校园或日常制服。 2. 年龄和性别必须明确可见。中年、老年、男性、书生、工人、贵族等,必须在服装、体态、发型、配件上看得出来。 3. 不要默认把角色美化成"年轻少女"或"学生妹"。除非角色描述里明确是学生、少女、校服,否则禁止擅自加入校服、百褶裙、水手服、青春校园感等元素。 4. 角色描述里出现的职业、阶层、材质、年代、配色、配件、道具、发型、体型,都要尽量保留进提示词。 5. 风格统一为沙雕动漫风格(meme style),2D简笔画,线条清晰粗犷,色彩平涂,带一点夸张幽默感,但不能牺牲角色设定本身。 6. 角色必须是全身站立立绘,纯色干净背景,方便抠图。 7. 脸部必须是无脸纯肤色留白,只保留完整发型、头饰、头部轮廓。绝对不要画出眼睛、鼻子、嘴巴、眉毛等五官。 提示词至少覆盖:人物身份/时代背景/文化语境、年龄感/体型/性别气质、发型/发色/头饰、服装层次/材质/配色/配件、手持道具、站姿动作、无脸要求和纯色背景要求。 用自然中文写提示词,用词具体,避免"好看、精致、漂亮"等空话。如果剧本和角色描述已经足够明确,就不要自己乱补成别的题材。 #### 背景图 backgroundPrompt ``` 横版宽屏场景背景图,卡通风格,适合互动剧背景。场景:[根据剧本内容描述场景]。不要人物,色彩鲜明,气氛感强。绝不要含有任何文字或英文字母。 ``` #### 封面图 coverPrompt ``` 剧目封面海报。展示[角色名]等角色的剪影轮廓,色彩鲜明,卡通风格。绝不要包含任何文字、字母或文案覆盖。 ``` #### 台词 (script) - 数量:10-20 句(根据素材丰富度调整,尽量多一些,让剧情完整) - avatar 可选值:`normal.png`, `happy.png`, `very_happy.png`, `angry.png`, `sad.png`, `cry.png`, `shock.png`, `smirk.png`, `speechless.png` - action 可选值: - `none` — 默认,无动画 - `shake` — 震动,适合愤怒/惊吓/强调 - `jump` — 跳跃,适合惊喜/激动 - `spin` — 旋转,适合混乱/搞笑 - `zoom-in` — 放大,适合重要台词/特写 - instruction(可选):语音情感指令,用自然语言描述这句台词的语气/情绪/表达方式 - 如:`"用愤怒的语气说"`、`"ASMR 低语"`、`"质问的语气"`、`"开心地大喊"` - 会传给 TTS 引擎增强语音表现力 - 对于情绪强烈的台词建议添加此字段 - position: 每个角色应该有固定站位(left/right),2个角色时一左一右,3个以上轮替 - 台词要生动有趣,符合互动剧的沙雕风格 - 对话要有戏剧冲突和反转 - 每句台词不要太长,控制在 30 字以内 #### systemPrompt - 要详细描述世界观和角色设定 - 包含语言风格指导(用于后续 AI 续写对话) - 至少 200 字 #### tags - 1-3 个标签,逗号分隔 - 如:`搞笑,职场,反转` #### language - 内容语言标识:`en`(英文)、`zh`(中文)、`multi`(混合) - 根据素材语言自动设置 #### 多语言翻译 (i18n) 创建剧本时必须同时生成 5 种目标语言的翻译(排除基础语言本身)。目标语言:`en`(英文)、`ja`(日文)、`es`(西班牙语)、`pt`(葡萄牙语)、`id`(印尼语)。 需要翻译的字段: - **剧本级**(`i18n` 对象):`name`、`title`、`subtitle`、`desc`(对应 description)、`sysPrompt`(对应 systemPrompt) - **角色级**(每个角色的 `nameI18n`):角色名的翻译/音译 - **台词级**(每条台词的 `dialogueI18n`):台词内容的翻译 翻译要求: - 如果基础语言是 `zh`,则 `i18n` 中包含 en/ja/es/pt/id 五种翻译 - 如果基础语言是 `en`,则 `i18n` 中包含 zh/ja/es/pt/id 五种翻译(把 `zh` 加入目标) - 角色名翻译:对于有明确含义的名字要意译,对于人名要音译 - 台词翻译:保持原文的语气、幽默感和情绪强度,不要过度直译 - systemPrompt 翻译:保持指令的准确性和完整性 ### 第 3 步:写入临时 JSON 文件 将生成的 JSON 写入临时文件 `/tmp/drama_.json` ### 第 4 步:生成图片并上传 OSS 找到本 skill 的目录路径(即本文件 SKILL.md 所在目录),执行图片生成脚本: ```bash node /generate-images.js /tmp/drama_.json ``` 该脚本会: 1. 为每个角色生成立绘图(Jimeng → fallback Nano Banana Pro) 2. 自动去背景(rembg) 3. 为剧本生成背景图和封面图 4. 全部上传到阿里云 OSS 5. 将 URL 写回 JSON 文件(更新 characters[].bodyUrl, coverUrl, backgroundUrl) **注意**:该脚本需要 `ali-oss`, `sharp` npm 包以及 `rembg` Python 工具。如果 rembg 未安装,会跳过去背景步骤。 ### 第 4.5 步:立绘补救(失败重试) 脚本执行完成后,**必须检查 JSON 文件中每个角色是否都有 `bodyUrl`**。 读取更新后的 JSON,遍历 `characters` 数组: - 如果所有角色都有 `bodyUrl` → 跳过此步,进入第 5 步 - 如果存在没有 `bodyUrl` 的角色 → 执行以下补救流程 **补救流程(每个失败角色,最多重试 2 次):** 1. **分析失败原因**:通常是 `Text Risk Not Pass`(内容审核)或 API 限流/超时。 2. **重写 imagePrompt**:针对审核失败,对该角色的 imagePrompt 做脱敏改写: - **去掉真实人物特征**:不要出现任何可识别的现实人物描述(如"金黄色蓬松发型梳向后方"对应某政治人物)。改用虚构的、泛化的外貌特征。 - **去掉政治/敏感��签**:不要出现"总统""白宫""国旗徽章"等。改用中性职业描述(如"一位穿深色西装的中年胖男子")。 - **保留角色辨识度**:改写后仍要保留角色的性别、年龄感、体型、服装风格、配色方案、手持道具等核心视觉特征,确保角色在剧中仍可辨认。 - **保留无脸/背景等技术要求**:无脸纯肤色留白、纯色背景等生图规范不能丢。 改写示例: ``` ❌ 原始:一位70多岁的美国总统形象,金黄色蓬松发型梳向后方...系超长鲜红色领带... ✅ 改写:一位70多岁的圆胖商人形象,浅黄色蓬松卷发,穿深蓝色西装,系红色领带... ``` 3. **更新 JSON 并重试**:用 Edit 工具更新该角色的 `imagePrompt`,然后重新运行生图脚本: ```bash node /generate-images.js /tmp/drama_.json ``` > 脚本会自动跳过已有 `bodyUrl` 的角色,只为缺失的角色生成图片。 4. **检查结果**:再次读取 JSON 检查 `bodyUrl`。如果仍然失败,再脱敏一次重试(第 2 次也失败则放弃该角色,后续使用默认偏移)。 ### 第 5 步:表情对齐(Agentic Face Alignment) 对每个成功生成立绘图的角色,执行面部检测 + 表情对齐,确定表情贴图在角色身上的精确位置。 **你(Claude)自己就是 VLM 审阅者。** 流程如下: 对于每个角色(characters 中有 bodyUrl 的): 1. **初始检测**:运行像素引擎获取面部区域 + 生成带标尺的预览图 ```bash node /face-align.js --base <角色立绘本地路径> --out /tmp/align_<角色名> ``` 脚本会自动下载默认表情图,输出: - `/tmp/align_<角色名>.png` — 纯净合成图 - `/tmp/align_<角色名>_marked.png` — 带标尺线的调试图 - stdout 中的 `__RESULT__{...}__END__` 包含 `faceOffset` 和渲染参数 2. **审阅标尺图**:用 Read 工具查看 `/tmp/align_<角色名>_marked.png` 以沙雕二次元漫画的宽容审美来判断: - 表情是否大致在脸部中央? - 大小是否合适(不要溢出脸颊,也不要太小)? - 不需要完美精确,只要看起来协调自然即可 3. **如需调整**:带修正参数重新运行 ```bash node /face-align.js --base <角色立绘本地路径> --out /tmp/align_<角色名> --dx <左右像素> --dy <上下像素> --ds <缩放比> ``` - `--dx`: 正数往右,负数往左 - `--dy`: 正数往下,负数往上 - `--ds`: 0.95 缩小,1.05 放大,1.0 不变 再次 Read 标尺图审阅,最多 3-4 轮即可收敛。 4. **采用结果**:将输出的 `faceOffset` 写入 JSON 对应角色: ```json { "name": "角色名", "bodyUrl": "...", "faceOffset": { "top": "32.50%", "left": "48.20%", "width": "25.00%" }, "voiceId": "..." } ``` > **注意**:face-align.js 只需要 `sharp` 依赖。如果 sharp 不可用,跳过此步骤,使用默认偏移量 `{ top: "8%", left: "35%", width: "30%" }`。 ### 第 6 步:写入数据库 + 生成 Bundle 执行入库脚本: ```bash node /insert-drama.js /tmp/drama_.json ``` 脚本会在事务中创建: - `dramas` 表记录(剧本元数据,含 language, tags) - `drama_characters` 表记录(角色配置 + 身体图 URL + 中英文音色 voiceId/voiceIdEn) - `drama_emotions` 表记录(默认表情映射,9种表情 → 9种 TTS 情感对齐) - `drama_scripts` 表记录(台词序列,含 instruction 语音情感指令) 事务提交后,脚本还会: - 构建完整 i18nData(合并基础语言 + 翻译数据,含角色名和台词翻译) - 将 i18nData 写入 Drama 记录 - 生成 **bundle.json**(含完整 6 语言翻译的播放器配置文件) - 上传 bundle.json 到 OSS(`dramas/{dramaKey}/bundle.json`) - 剧本创建后**立即可播放,且支持多语言切换** ### 第 7 步:清理并输出结果 1. 删除临时 JSON 文件 2. 告知用户: - 剧本名称和 dramaKey - 角色列表及音色 - 台词数量 - 图片生成结果(成功/失败) - Bundle.json 上传状态 - 简要剧情概述 ## 配置说明 脚本会自动从以下位置加载配置(按优先级): 1. `--env ` 参数指定的 .env 文件 2. 环境变量 `DRAMA_ENV_PATH` 指定的 .env 文件 3. skill 目录下的 `.env` 文件 4. 已有的环境变量 所需配置项: ```env # 数据库 DB_HOST=127.0.0.1 DB_PORT=3306 DB_USER=root DB_PASSWORD=xxx DB_NAME=shadiao_drama # 阿里云 OSS(图片 + bundle.json 上传) OSS_REGION=oss-cn-beijing OSS_ACCESS_KEY_ID=xxx OSS_ACCESS_KEY_SECRET=xxx OSS_BUCKET=xxx OSS_ENDPOINT=https://oss-cn-beijing.aliyuncs.com # 万界生图 API WANJIE_API_KEY=xxx ``` ## 注意事项 - **自动检测语言**:根据素材的语言自动决定输出语言。中文素材生成中文内容,英文素材生成英文内容,并在 JSON 中设置对应的 `language` 字段(`zh`/`en`/`multi`) - 当前 6 个复刻音色均支持多语言(zh/en/ja/es/id/pt),无需为不同语言切换音色 - 风格偏沙雕搞笑,但要保留素材的核心信息 - 如果素材是严肃新闻,可以用吐槽/解说风格改编 - 角色名字要有趣,符合素材主题 ## 目录结构 ``` .claude/skills/create-drama/ ├── SKILL.md # Skill 定义(本文件) ├── reference.md # 完整音色参考文档 ├── insert-drama.js # 数据库入库 + bundle.json 生成上传脚本 ├── generate-images.js # 图片生成 + 去背景 + OSS 上传脚本 ├── face-align.js # 角色表情对齐引擎(像素检测 + 合成 + 标尺图) └── .env # 数据库 + OSS + 生图 API 配置 ``` ## Additional Resources - 完整音色列表及情感参数:[reference.md](reference.md)