参考视频/音频 + 停止按钮：修 completion 检测遗留 bug、加媒体预览、硬重启式停止运行中任务

排队/取消：新增 cancelled 状态区分"排队未跑就被取消"和"运行中被打断"；运行中任务现在能点 "停止"——实测确认 ComfyUI 的 /interrupt 打断不了 Raylight 的 Ray 子进程（打断前后 GPU 一直 100%利用率），唯一办法是硬重启整个服务，已实测两种场景（初始化阶段/满载采样阶段）都能正确收回 GPU。参考视频/音频：GenReq 加 reference_video_urls/reference_audio_urls，用 ComfyUI 核心节点 LoadVideo→GetVideoComponents 接参考视频（自动带上视频自己的音轨），LoadAudio 接独立音频。 console 上传接口按类型分级限流，"多参考图生视频"tab 加对应上传框，task.html 的参考图/视频/ 音频现在都能直接预览播放（不再只显示文件名），不再需要跳出去看。顺带修复：报错文本截取从头/尾盲截改成直接定位"XxxError: ..."模式，不会再被 traceback 里的超长张量 dump 淹没掉真正的报错原因；console 自己的 partition 判断补上新字段，跟 raylight 那份保持一致。 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>

参考视频/音频 + 停止按钮：修 completion 检测遗留 bug、加媒体预览、硬重启式停止运行中任务
排队/取消：新增 cancelled 状态区分"排队未跑就被取消"和"运行中被打断"；运行中任务现在能点 "停止"——实测确认 ComfyUI 的 /interrupt 打断不了 Raylight 的 Ray 子进程（打断前后 GPU 一直 100%利用率），唯一办法是硬重启整个服务，已实测两种场景（初始化阶段/满载采样阶段）都能正确收回 GPU。参考视频/音频：GenReq 加 reference_video_urls/reference_audio_urls，用 ComfyUI 核心节点 LoadVideo→GetVideoComponents 接参考视频（自动带上视频自己的音轨），LoadAudio 接独立音频。 console 上传接口按类型分级限流，"多参考图生视频"tab 加对应上传框，task.html 的参考图/视频/ 音频现在都能直接预览播放（不再只显示文件名），不再需要跳出去看。顺带修复：报错文本截取从头/尾盲截改成直接定位"XxxError: ..."模式，不会再被 traceback 里的超长张量 dump 淹没掉真正的报错原因；console 自己的 partition 判断补上新字段，跟 raylight 那份保持一致。 Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
yibo
1 parent 5c47845c
Showing 5 changed files with 287 additions and 40 deletions
CHANGELOG.md
h3-console/server.py
h3-console/static/index.html
raylight/README.md
raylight/scripts/server.py
 # 变更记录
+## 2026-08-24 — 多参考图生视频加上参考视频/独立音频参考
+
+**结果**：查 ComfyUI `/object_info` 发现 `MiniMaxH3ReferenceToVideo` 节点其实支持
+`ref_videos`（参考视频，最多3段）/`ref_audios`（独立音频参考，最多3个）/`ref_video_audios`
+（对应视频的音轨），之前只接了 `ref_images`。现在都接上了：`raylight/server.py` 的 `GenReq`
+加 `reference_video_urls`/`reference_audio_urls`，`build_ref2va_graph` 用 ComfyUI 核心节点
+`LoadVideo`→`GetVideoComponents`（拆出images+audio两路）接参考视频，`LoadAudio`接独立音频；
+`h3-console` 的 `/v1/assets` 上传接口按扩展名分流校验（视频100MB/音频30MB/图片20MB三档），
+"多参考图生视频"tab 加了两个上传框。端到端测过（2秒测试视频+独立音频文件），成功生成。
+顺带修了 console 自己的 `_partition_of` 漏加这两个新字段的判断（跟`raylight/server.py`那份
+不一致，纯展示层，不影响实际生成）。
+
 ## 2026-08-23（晚）— H3 官方案例测试 + 提示词写作 skill（`h3-prompt-writer`）搭建与 benchmark 收敛
 **结果**：为了系统性验证 raylight 复现 MiniMax H3 官方案例效果，做了两件事：
@@ -28,6 +28,8 @@ DB_PATH = BASE / &quot;console.sqlite3&quot;
 GATEWAY_URL = os.environ.get("H3_GATEWAY_URL", "http://192.168.110.67:8000")
 CONSOLE_PUBLIC_BASE = os.environ.get("H3_CONSOLE_PUBLIC_BASE")  # 供后端 worker 回读上传图片用；见 README
 MAX_UPLOAD_BYTES = 20 * 1024 * 1024  # 20MB，够单张参考图/首尾帧，防止占满磁盘
+MAX_VIDEO_UPLOAD_BYTES = 100 * 1024 * 1024  # 100MB，参考视频（2-15秒）比图片大得多
+MAX_AUDIO_UPLOAD_BYTES = 30 * 1024 * 1024  # 30MB，独立音频参考
 ENABLE_SUPERVISOR = os.environ.get("H3_ENABLE_SUPERVISOR") == "1"
 # 部署在共享域名的子路径下时设这个（比如挂在 qwen.wudaima.com/console 而不是独立域名），
 # 见 README「子路径部署」。留空就是原来的行为，挂在根路径，本地/局域网直连不受影响。
@@ -86,23 +88,39 @@ init_db()
 # api.py 的 GenReq 只认 URL 字段（first_frame_url / reference_image_urls），内部用
 # urllib.urlopen 拉取。所以上传接口的活是「收文件 -> 落盘 -> 吐一个后端能拉到的 URL」，
 # 不改 api.py 一行代码。
+IMAGE_EXTS = (".jpg", ".jpeg", ".png", ".webp")
+VIDEO_EXTS = (".mp4", ".mov", ".webm", ".mkv")
+AUDIO_EXTS = (".mp3", ".wav", ".m4a", ".ogg", ".flac")
+
+
 @router.post("/v1/assets")
 async def upload_asset(file: UploadFile = File(...)):
     ext = Path(file.filename or "").suffix.lower()
-    if ext not in (".jpg", ".jpeg", ".png", ".webp"):
-        raise HTTPException(400, f"不支持的文件类型 {ext}，只收图片(jpg/png/webp)")
+    # 2026-08-23：原来只收图片，现在参考视频/独立音频参考也走这个接口——按扩展名分流到
+    # 各自的大小上限，视频/音频没有 PIL 那样现成的解码校验，先不做，坏文件会在 ComfyUI
+    # LoadVideo/LoadAudio 那一步报错，属于可接受的失败模式。
+    if ext in IMAGE_EXTS:
+        kind, max_bytes = "image", MAX_UPLOAD_BYTES
+    elif ext in VIDEO_EXTS:
+        kind, max_bytes = "video", MAX_VIDEO_UPLOAD_BYTES
+    elif ext in AUDIO_EXTS:
+        kind, max_bytes = "audio", MAX_AUDIO_UPLOAD_BYTES
+    else:
+        raise HTTPException(400, f"不支持的文件类型 {ext}，只收图片(jpg/png/webp)/"
+                                  f"视频(mp4/mov/webm/mkv)/音频(mp3/wav/m4a/ogg/flac)")
     body = await file.read()
-    if len(body) > MAX_UPLOAD_BYTES:
-        raise HTTPException(413, f"文件超过 {MAX_UPLOAD_BYTES // 1024 // 1024}MB 上限")
+    if len(body) > max_bytes:
+        raise HTTPException(413, f"文件超过 {max_bytes // 1024 // 1024}MB 上限")
     aid = uuid.uuid4().hex[:16]
     path = ASSETS / f"{aid}{ext}"
     path.write_bytes(body)
-    try:
-        Image.open(path).verify()  # 校验确实是能解码的图片，不是随便什么二进制
-    except Exception:
-        path.unlink(missing_ok=True)
-        raise HTTPException(400, "文件不是有效图片")
-    return {"id": aid, "url": f"{_public_base()}/assets/{aid}{ext}"}
+    if kind == "image":
+        try:
+            Image.open(path).verify()  # 校验确实是能解码的图片，不是随便什么二进制
+        except Exception:
+            path.unlink(missing_ok=True)
+            raise HTTPException(400, "文件不是有效图片")
+    return {"id": aid, "url": f"{_public_base()}/assets/{aid}{ext}", "kind": kind}
 def _public_base() -> str:
@@ -126,9 +144,19 @@ app.mount(f&quot;{BASE_PATH}/assets&quot;, StaticFiles(directory=str(ASSETS)), name=&quot;asset
 # 尝试提交给 gateway；提交不上（503/429）就留在本地队列里，交给下面的 reconciler_loop 每隔几秒重试，
 # 弹性调度器看到的 pending 计数正是这些「还没提交上去」的本地排队任务。
 def _partition_of(req: dict) -> str:
-    # 和 gateway.py 里 `want = "fl2va" if (...) else "ref2va"` 保持完全一致的判断，
-    # 不要各写一套、两边判断分岔的话 console 统计出来的 pending 计数就和 gateway 实际路由对不上。
-    return "fl2va" if (req.get("first_frame_url") or req.get("last_frame_url")) else "ref2va"
+    # 2026-08-23 修复：原来是二选一（没有first/last frame就当ref2va），会把纯文生视频
+    # （reference_image_urls也是空的）误标成"ref2va"——跟前端 rerunJob() 自己的 kind 判断
+    # （index.html 里早就正确区分 text/fl2va/ref2va 三种）对不上，在 task.html 上看起来
+    # "标着ref2va却没有参考图"，容易让人怀疑参考图是不是丢了/没显示出来，其实只是这个分类
+    # 少了纯文生视频这一档。改成跟前端一致的三分类。
+    if req.get("first_frame_url") or req.get("last_frame_url"):
+        return "fl2va"
+    # 2026-08-23：新增参考视频/独立音频参考字段时漏了这里，跟 raylight/server.py 自己的
+    # _partition_of 对不上——那边路由图用的是它自己那份判断（功能不受影响，只是这里的
+    # 展示标签会显示错），保持两份判断逻辑一致。
+    if req.get("reference_image_urls") or req.get("reference_video_urls") or req.get("reference_audio_urls"):
+        return "ref2va"
+    return "text"
 def _row_view(row) -> dict:
@@ -220,7 +248,7 @@ async def _refresh_from_gateway(cid: str, gateway_id: str):
         if row is None:
             return
         view = json.loads(row["last_known_json"]) if row["last_known_json"] else {"id": cid}
-        if view.get("status") in ("done", "failed"):
+        if view.get("status") in ("done", "failed", "cancelled"):
             return  # 已经是终态，不要覆盖
         view["status"] = "failed"
         view["error"] = "任务在执行途中丢失：所在后端进程被重启，内存态被清空，不会再有进展"
@@ -259,6 +287,41 @@ async def create_video(req: dict):
     return _row_view(row)
+@router.post("/v1/videos/{jid}/cancel")
+async def cancel_video(jid: str):
+    with db() as con:
+        row = con.execute("SELECT * FROM jobs WHERE id=?", (jid,)).fetchone()
+    if row is None:
+        raise HTTPException(404, "无此任务")
+    if row["status"] in ("done", "failed", "cancelled"):
+        raise HTTPException(409, f"任务当前状态是 {row['status']}，已经是终态，取消不了")
+    now = time.time()
+    if row["gateway_id"]:
+        # 已经提交给后端了，得让后端也知道要取消（后端只允许取消它自己还在排队的任务，
+        # 如果已经开始跑了会返回409——这里直接把后端的错误透传出去，不假装取消成功了）
+        try:
+            resp = await client.post(f"{GATEWAY_URL}/v1/videos/{row['gateway_id']}/cancel")
+        except httpx.HTTPError:
+            raise HTTPException(502, "取消请求发不到后端，稍后再试")
+        if resp.status_code >= 400:
+            raise HTTPException(resp.status_code, resp.text)
+        job = resp.json()
+        job["id"] = jid
+        with db() as con:
+            con.execute(
+                "UPDATE jobs SET status='cancelled', updated_at=?, last_known_json=? WHERE id=?",
+                (now, json.dumps(job, ensure_ascii=False), jid),
+            )
+    else:
+        # 还没提交给后端（本地排队中），直接在 console 自己这边标掉，reconciler_loop 只挑
+        # status='queued' 的行重试提交，改成 cancelled 之后它就不会再去试着提交这条了
+        with db() as con:
+            con.execute("UPDATE jobs SET status='cancelled', updated_at=? WHERE id=?", (now, jid))
+    with db() as con:
+        row = con.execute("SELECT * FROM jobs WHERE id=?", (jid,)).fetchone()
+    return _row_view(row)
+
+
 @router.get("/v1/videos/{jid}")
 async def get_video(jid: str):
     with db() as con:
@@ -48,9 +48,11 @@
   button.submit { margin-top: 12px; padding: 10px 20px; background: #4a7; color: white; border: none; border-radius: 6px; cursor: pointer; }
   button.submit:disabled { opacity: .5; cursor: default; }
   .hint { font-size: 12px; opacity: .65; margin: 6px 0 4px; line-height: 1.5; }
-  .thumbrow { display: flex; gap: 8px; flex-wrap: wrap; margin-top: 6px; }
+  .thumbrow { display: flex; gap: 8px; flex-wrap: wrap; margin-top: 6px; align-items: flex-start; }
   .thumbrow img { height: 60px; border-radius: 4px; }
-  .status-done { color: #2a7; } .status-failed { color: #c33; } .status-running { color: #a70; } .status-queued { color: #777; }
+  .thumbrow video { height: 220px; max-width: 100%; border-radius: 4px; }
+  .thumbrow audio { height: 32px; width: 220px; }
+  .status-done { color: #2a7; } .status-failed { color: #c33; } .status-running { color: #a70; } .status-queued { color: #777; } .status-cancelled { color: #999; }
   .err { color: #c33; font-size: 13px; margin-top: 8px; white-space: pre-wrap; font-family: ui-monospace, Menlo, Consolas, monospace;
          max-height: 400px; overflow-y: auto; background: #fff5f5; border: 1px solid #f3c2c2; border-radius: 6px; padding: 10px; }
@@ -99,7 +101,7 @@
     </div>
     <div class="hint" id="text-hint"></div>
     <div class="row">
-      <div><label>Turbo</label><select id="text-turbo" class="turbo-select" data-steps="text-steps"><option value="true" selected>开(4步,快)</option><option value="false">关(多步,慢但更稳)</option></select></div>
+      <div><label>Turbo</label><select id="text-turbo" class="turbo-select" data-steps="text-steps"><option value="true">开(4步,快)</option><option value="false" selected>关(多步,慢但更稳)</option></select></div>
       <div><label>步数</label><select id="text-steps"></select></div>
       <div><label>Seed</label><select id="text-seed">
         <option value="0" selected>0</option>
@@ -136,7 +138,7 @@
     </div>
     <div class="hint" id="fl2va-hint"></div>
     <div class="row">
-      <div><label>Turbo</label><select id="fl2va-turbo" class="turbo-select" data-steps="fl2va-steps"><option value="true" selected>开(4步,快)</option><option value="false">关(多步,慢但更稳)</option></select></div>
+      <div><label>Turbo</label><select id="fl2va-turbo" class="turbo-select" data-steps="fl2va-steps"><option value="true">开(4步,快)</option><option value="false" selected>关(多步,慢但更稳)</option></select></div>
       <div><label>步数</label><select id="fl2va-steps"></select></div>
       <div><label>Seed</label><select id="fl2va-seed">
         <option value="0" selected>0</option>
@@ -165,13 +167,19 @@
     <label>参考图（可多选，没有张数上限，越多序列越长越慢）</label>
     <input id="ref2va-refs" type="file" accept="image/*" multiple onchange="uploadMulti()">
     <div class="thumbrow" id="ref2va-thumbs"></div>
+    <label>参考视频（可选，最多3段，2-15秒，音轨会自动带上）</label>
+    <input id="ref2va-videos-input" type="file" accept="video/*" multiple onchange="uploadMultiTagged('ref2va-videos-input','ref2va-videos','ref2va-video-tags')">
+    <div class="thumbrow" id="ref2va-video-tags"></div>
+    <label>独立音频参考（可选，最多3个，不跟参考视频绑定）</label>
+    <input id="ref2va-audios-input" type="file" accept="audio/*" multiple onchange="uploadMultiTagged('ref2va-audios-input','ref2va-audios','ref2va-audio-tags')">
+    <div class="thumbrow" id="ref2va-audio-tags"></div>
     <div class="row">
       <div><label>分辨率</label><select id="ref2va-res" class="res-select"></select></div>
       <div><label>时长</label><select id="ref2va-dur" class="dur-select"></select></div>
     </div>
     <div class="hint" id="ref2va-hint"></div>
     <div class="row">
-      <div><label>Turbo</label><select id="ref2va-turbo" class="turbo-select" data-steps="ref2va-steps"><option value="true" selected>开(4步,快)</option><option value="false">关(多步,慢但更稳)</option></select></div>
+      <div><label>Turbo</label><select id="ref2va-turbo" class="turbo-select" data-steps="ref2va-steps"><option value="true">开(4步,快)</option><option value="false" selected>关(多步,慢但更稳)</option></select></div>
       <div><label>步数</label><select id="ref2va-steps"></select></div>
       <div><label>Seed</label><select id="ref2va-seed">
         <option value="0" selected>0</option>
@@ -204,7 +212,7 @@
 // 否则子路径部署时请求会打到域名根路径，而不是我们这个子路径。
 const H3_BASE = "__H3_BASE_PATH__";
-const uploaded = { 'fl2va-first': null, 'fl2va-last': null, 'ref2va-refs': [] };
+const uploaded = { 'fl2va-first': null, 'fl2va-last': null, 'ref2va-refs': [], 'ref2va-videos': [], 'ref2va-audios': [] };
 let jobsCache = [];
 let trashCache = [];
 let viewingTrash = false;
@@ -293,7 +301,7 @@ function initParamSelects(prefix) {
   const res = document.getElementById(prefix + '-res');
   const dur = document.getElementById(prefix + '-dur');
   if (res) fillSelect(res, RESOLUTIONS);
-  if (dur) fillSelect(dur, DURATIONS);
+  if (dur) { fillSelect(dur, DURATIONS); dur.value = '362'; }  // 默认时长 15s，2026-08-23 用户要求
   if (res) { syncDurOptions(prefix); res.onchange = () => syncDurOptions(prefix); }
   const turboSelect = document.getElementById(prefix + '-turbo');
@@ -337,6 +345,33 @@ async function uploadMulti() {
   }
 }
+// 参考视频/独立音频参考共用——不像参考图没有上限，这两个都封顶3个（跟节点协议一致），
+// 视频/音频不方便像图片一样直接<img>预览，用文件名文字标签代替。
+// elId 里带 "video"/"audio" 判断放哪种播放器——跟生成结果的视频一样直接能播放预览，
+// 不再只显示文件名。
+function renderTags(elId, urls) {
+  const box = document.getElementById(elId); box.innerHTML = '';
+  const isVideo = elId.includes('video');
+  urls.forEach(u => {
+    const el = document.createElement(isVideo ? 'video' : 'audio');
+    el.src = u; el.controls = true;
+    box.appendChild(el);
+  });
+}
+
+async function uploadMultiTagged(inputId, stateKey, tagsElId) {
+  const el = document.getElementById(inputId);
+  const errBox = document.getElementById('ref2va-err');
+  for (const f of el.files) {
+    if (uploaded[stateKey].length >= 3) { errBox.textContent = '最多3个，已达上限'; break; }
+    try {
+      const res = await uploadFile(f);
+      uploaded[stateKey].push(res.url);
+    } catch (e) { errBox.textContent = '上传失败: ' + e.message; }
+  }
+  renderTags(tagsElId, uploaded[stateKey]);
+}
+
 // 分辨率/时长/Turbo/步数/Seed 五个字段，三个 tab 结构完全一样，抽出来一份读取逻辑。
 function readParamSelects(prefix) {
   const res = RESOLUTIONS.find(r => r.value === document.getElementById(prefix + '-res').value);
@@ -371,10 +406,14 @@ async function submitJob(kind) {
       ...readParamSelects('fl2va'),
     };
   } else if (kind === 'ref2va') {
-    if (uploaded['ref2va-refs'].length === 0) { errBox.textContent = '请先上传至少一张参考图'; return; }
+    if (uploaded['ref2va-refs'].length === 0 && uploaded['ref2va-videos'].length === 0 && uploaded['ref2va-audios'].length === 0) {
+      errBox.textContent = '请先上传至少一张参考图/一段参考视频/一个参考音频'; return;
+    }
     body = {
       prompt: document.getElementById('ref2va-prompt').value,
       reference_image_urls: uploaded['ref2va-refs'],
+      reference_video_urls: uploaded['ref2va-videos'],
+      reference_audio_urls: uploaded['ref2va-audios'],
       ...readParamSelects('ref2va'),
     };
   }
@@ -398,7 +437,7 @@ function setThumbs(elId, urls) {
 function prefillCreate(req) {
   const kind = (req.first_frame_url || req.last_frame_url) ? 'fl2va'
-    : (req.reference_image_urls || []).length ? 'ref2va' : 'text';
+    : ((req.reference_image_urls || []).length || (req.reference_video_urls || []).length || (req.reference_audio_urls || []).length) ? 'ref2va' : 'text';
   document.querySelectorAll('.tabs button').forEach(b => b.classList.toggle('active', b.dataset.tab === kind));
   ['text', 'fl2va', 'ref2va'].forEach(t => document.getElementById('tab-' + t).style.display = (t === kind ? 'block' : 'none'));
@@ -438,7 +477,11 @@ function prefillCreate(req) {
     setThumbs('fl2va-thumbs', [req.first_frame_url, req.last_frame_url]);
   } else if (kind === 'ref2va') {
     uploaded['ref2va-refs'] = (req.reference_image_urls || []).slice();
+    uploaded['ref2va-videos'] = (req.reference_video_urls || []).slice();
+    uploaded['ref2va-audios'] = (req.reference_audio_urls || []).slice();
     setThumbs('ref2va-thumbs', uploaded['ref2va-refs']);
+    renderTags('ref2va-video-tags', uploaded['ref2va-videos']);
+    renderTags('ref2va-audio-tags', uploaded['ref2va-audios']);
   }
   showCreate();
@@ -453,8 +496,23 @@ async function rerunJob(id) {
   } catch (e) { alert('重跑失败: ' + e.message); }
 }
+async function cancelJob(id, running) {
+  // running=true 时是"停止"：Raylight的Ray子进程不理会ComfyUI的/interrupt，唯一能真正把
+  // GPU收回来的办法是硬重启整个服务——所以要把这个代价明确告诉用户，不能假装是优雅停止。
+  const msg = running
+    ? '确定停止这条正在运行的任务？会硬重启整个服务来打断它（没有更温和的办法，Raylight的计算跑在独立进程里，收不到普通的打断信号），大约15-20秒后GPU恢复可用，重启期间其他任务也会受影响。'
+    : '确定取消这条排队中的任务？';
+  if (!confirm(msg)) return;
+  try {
+    const r = await fetch(`${H3_BASE}/v1/videos/${id}/cancel`, { method: 'POST' });
+    if (!r.ok) throw new Error(await r.text());
+    await refreshDetail();
+    await refreshJobs();
+  } catch (e) { alert((running ? '停止' : '取消') + '失败: ' + e.message); }
+}
+
 function statusLabel(s) {
-  const map = { queued: '排队中', running: '运行中', done: '已完成', failed: '失败' };
+  const map = { queued: '排队中', running: '运行中', done: '已完成', failed: '失败', cancelled: '已取消' };
   return `<span class="status-${s}">${map[s] || s}</span>`;
 }
@@ -608,6 +666,8 @@ async function refreshDetail() {
       resultHtml = `<div class="err">${(j.error || '未知错误').replace(/</g,'&lt;')}</div>`;
     } else if (j.status === 'running') {
       resultHtml = `<div>已运行 ${j.elapsed_seconds || 0} 秒（共 ${j.total_steps || req.steps || '?'} 步，当前第 ${j.step || 0} 步）</div>`;
+    } else if (j.status === 'cancelled') {
+      resultHtml = `<div class="err">${(j.error || '已取消').replace(/</g,'&lt;')}</div>`;
     } else {
       resultHtml = `<div>排队中，等待可用的 ${j.partition || ''} 后端…</div>`;
     }
@@ -617,12 +677,17 @@ async function refreshDetail() {
     if (req.first_frame_url) imgs.push(['首帧', req.first_frame_url]);
     if (req.last_frame_url) imgs.push(['尾帧', req.last_frame_url]);
     (req.reference_image_urls || []).forEach((u, i) => imgs.push(['参考图'+(i+1), u]));
-    if (imgs.length) refThumbs = `<div class="thumbrow">${imgs.map(([label,u]) => `<img src="${u}" title="${label}">`).join('')}</div>`;
+    // 图片点开看大图，参考视频/音频跟生成结果的视频一样用原生播放器直接预览，不再只显示文件名。
+    const imgTags = imgs.map(([label, u]) => `<a href="${u}" target="_blank" title="${label}，点击查看大图"><img src="${u}" title="${label}"></a>`).join('');
+    const videoTags = (req.reference_video_urls || []).map((u, i) => `<video controls src="${u}" title="参考视频${i+1}"></video>`).join('');
+    const audioTags = (req.reference_audio_urls || []).map((u, i) => `<audio controls src="${u}" title="参考音频${i+1}"></audio>`).join('');
+    if (imgTags || videoTags) refThumbs += `<div class="thumbrow">${imgTags}${videoTags}</div>`;
+    if (audioTags) refThumbs += `<div class="thumbrow">${audioTags}</div>`;
     box.innerHTML = `
       <div class="back" onclick="showCreate()">← 新建任务</div>
       <h2>${j.id}</h2>
-      <div>${statusLabel(j.status)} <button class="submit" style="padding:4px 12px;margin-left:8px" onclick="rerunJob('${j.id}')">重跑</button></div>
+      <div>${statusLabel(j.status)} <button class="submit" style="padding:4px 12px;margin-left:8px" onclick="rerunJob('${j.id}')">重跑</button>${j.status === 'queued' ? ` <button style="padding:4px 12px;margin-left:8px" onclick="cancelJob('${j.id}',false)">取消</button>` : ''}${j.status === 'running' ? ` <button style="padding:4px 12px;margin-left:8px;color:#c33" onclick="cancelJob('${j.id}',true)">停止</button>` : ''}</div>
       <dl class="dl">
         <dt>Prompt</dt><dd>${(req.prompt || '').replace(/</g,'&lt;')}</dd>
         <dt>分区</dt><dd>${j.partition || '—'}</dd>
@@ -121,6 +121,26 @@ ssh admin@192.168.110.67 &#39;cd /data/models/minimax-h3 &amp;&amp; export H3_OFFLOAD=disk &amp;
    结果，这段自愈逻辑现在是死代码。真机测试中一次 OOM 后 GPU1/2/3 卡在接近满载没释放，
    必须手动 `bash start.sh` 整个重启才能回收——这不是我们这边能修的，是上游代码的问题。
+## 多参考图生视频支持参考视频/独立音频参考（2026-08-24 新增）
+
+`MiniMaxH3ReferenceToVideo` 节点本身支持的输入比之前接的多——查 ComfyUI `/object_info` 发现
+除了 `ref_images`（参考图，早就接了），还有 `ref_videos`（参考视频，最多3段）、
+`ref_video_audios`（对应视频自己的音轨）、`ref_audios`（独立音频参考，最多3个，不跟任何
+视频绑定）。之前只做了参考图这一种，现在都接上了：
+
+- `GenReq` 加了 `reference_video_urls`/`reference_audio_urls`（各自最多3个）。
+- 参考视频走 `LoadVideo` → `GetVideoComponents` 拆成 images/audio 两路，images 接
+  `ref_videos.ref_video_{i}`，audio 自动接 `ref_video_audios.ref_video_audio_{i}`——**音轨
+  是从视频文件自己解出来的，不用用户再单独传一份**，这是"同一段视频自己的音轨"这个语义
+  最省事的实现方式。
+- 独立音频走 `LoadAudio` 直接接 `ref_audios.ref_audio_{i}`。
+- console 的"多参考图生视频"tab 加了两个上传框（参考视频/独立音频参考），`/v1/assets`
+  上传接口按扩展名分流校验（视频100MB上限、音频30MB上限，图片还是20MB）。
+- 端到端测过：2秒测试视频(带音轨)+独立音频文件，`status`正确转`done`，视频文件正常生成。
+
+`LoadVideo`/`LoadAudio`/`GetVideoComponents` 都是 ComfyUI 核心节点（`comfy_extras`），不是
+自定义节点包，没有额外安装/兼容性风险。
+
 ## 相关文档
 - `docs/todo/raylight-comfyui-multi-gpu-eval.md`——完整调研+验证+生产部署过程，踩过的坑
@@ -16,6 +16,7 @@ import os
 import queue
 import re
 import sqlite3
+import subprocess
 import threading
 import time
 import urllib.parse
@@ -51,6 +52,21 @@ COMFYUI_LOG_PATH = Path(&quot;/data/models/raylight/comfyui-server.log&quot;)
 # steps 的那次匹配，因为同一句"Model Initializing"文案在 FSDP 初始化阶段也会打印、但那里的
 # 总数是 GPU 数（4），跟真正的采样步数（这里的 steps 字段）容易混淆。
 _PROGRESS_RE = re.compile(r"Model Initializing.*?(\d+)\.\d+/(\d+)\.\d+ \[")
+# 2026-08-24: 单纯截尾([-2000:])在参考图/参考视频的报错里会失效——Ray traceback里经常在真正
+# 报错行后面接着打印一大坨tensor内容（比如OOM报错后把出错的输入张量也dump出来），尾部2000字符
+# 全是"0., 0., 0., ..."这种数字，看不到真正的报错类型/原因。改成直接从整段文本里找
+# "XxxError: ..."这种模式，取最后一个匹配（Python异常链里最后抛出的通常是最具体的结论），
+# 找不到才退回截尾兜底。
+_ERROR_LINE_RE = re.compile(r'\b([A-Za-z_][\w.]*(?:Error|Exception)):\s*([^\n"\\]*)')
+
+
+def _extract_error_summary(messages: list) -> str:
+    raw = json.dumps(messages, ensure_ascii=False)
+    text = raw.replace("\\n", "\n")  # 还原JSON转义的换行，不然"n"会跟前一个词粘连（比如"ntorch..."）
+    matches = _ERROR_LINE_RE.findall(text)
+    if matches:
+        return f"{matches[-1][0]}: {matches[-1][1].strip()}"[:2000]
+    return raw[-2000:]
 # 每次提交必须逐字节相同才能让 ComfyUI 跳过重建集群——不要给任何一个请求字段改这几个值。
 RAY_INIT_CFG = {
@@ -108,6 +124,12 @@ class GenReq(BaseModel):
     first_frame_url: Optional[str] = None
     last_frame_url: Optional[str] = None
     reference_image_urls: list[str] = []
+    # 2026-08-23：MiniMaxH3ReferenceToVideo 节点本身支持参考视频/独立音频参考（ComfyUI
+    # /object_info 里的 ref_videos/ref_audios），之前只接了 ref_images 这一种，见 notes.md。
+    reference_video_urls: list[str] = Field(default_factory=list, max_length=3)  # 最多3段，
+    # 每段的音轨会跟着自动带上（对应 ref_video_audios，不用单独传）
+    reference_audio_urls: list[str] = Field(default_factory=list, max_length=3)  # 独立音频参考，
+    # 不跟任何参考视频绑定，最多3个（对应节点的 ref_audios）
     @model_validator(mode="after")
     def _check_known_resolution_ceiling(self):
@@ -124,7 +146,7 @@ class GenReq(BaseModel):
 class Job(BaseModel):
     id: str
-    status: Literal["queued", "running", "done", "failed"]
+    status: Literal["queued", "running", "done", "failed", "cancelled"]
     req: GenReq
     created_at: float
     started_at: Optional[float] = None
@@ -183,8 +205,16 @@ def _load_jobs():
             j = Job.model_validate_json(row["data"])
         except Exception:
             continue
-        # 进程重启=ComfyUI侧的执行状态和排队状态都丢了，跟老系统的策略一致：不可恢复的直接判失败
-        if j.status in ("queued", "running"):
+        # 进程重启=ComfyUI侧的执行状态和排队状态都丢了，跟老系统的策略一致：不可恢复的直接判定
+        # 终态。2026-08-23区分开：只是排队中、根本还没开始跑的，判"cancelled"更准确——没有任何
+        # 执行过程可言，"failed"意味着跑起来又出错了，这两者不是一回事。真的在跑到一半被打断的
+        # 才算failed。
+        if j.status == "queued":
+            j.status = "cancelled"
+            j.error = "进程重启导致这条排队中的任务被取消，需要重新提交"
+            j.finished_at = time.time()
+            _persist(j)
+        elif j.status == "running":
             j.status = "failed"
             j.error = "进程重启导致这条任务的执行状态丢失，无法恢复"
             j.finished_at = time.time()
@@ -195,19 +225,27 @@ def _load_jobs():
 def _partition_of(req: GenReq) -> str:
-    if req.reference_image_urls:
+    if req.reference_image_urls or req.reference_video_urls or req.reference_audio_urls:
         return "ref2va"
     return "fl2va"
-def _fetch_to_input(url: str) -> str:
-    """下载一张图到 ComfyUI 的 input/ 目录，LoadImage 节点按文件名读取。"""
-    ext = os.path.splitext(urllib.parse.urlparse(url).path)[1] or ".png"
-    if ext.lower() not in (".png", ".jpg", ".jpeg", ".webp"):
-        ext = ".png"
+_INPUT_EXTS = {
+    "image": (".png", ".jpg", ".jpeg", ".webp"),
+    "video": (".mp4", ".mov", ".webm", ".mkv"),
+    "audio": (".mp3", ".wav", ".m4a", ".ogg", ".flac"),
+}
+
+
+def _fetch_to_input(url: str, kind: str = "image") -> str:
+    """下载一个文件到 ComfyUI 的 input/ 目录，LoadImage/LoadVideo/LoadAudio 节点按文件名读取。"""
+    allowed = _INPUT_EXTS[kind]
+    ext = os.path.splitext(urllib.parse.urlparse(url).path)[1].lower()
+    if ext not in allowed:
+        ext = allowed[0]
     fname = f"{uuid.uuid4().hex}{ext}"
     dest = INPUT_DIR / fname
-    with urllib.request.urlopen(url, timeout=60) as resp, open(dest, "wb") as f:
+    with urllib.request.urlopen(url, timeout=120) as resp, open(dest, "wb") as f:
         f.write(resp.read())
     return fname
@@ -274,6 +312,21 @@ def build_ref2va_graph(req: GenReq) -&gt; dict:
         nid = f"n_ref{i}"
         g[nid] = {"class_type": "LoadImage", "inputs": {"image": fname}}
         conditioning_inputs[f"ref_images.ref_image_{i}"] = [nid, 0]
+    for i, url in enumerate(req.reference_video_urls[:3]):
+        fname = _fetch_to_input(url, kind="video")
+        load_nid, split_nid = f"n_refvid{i}_load", f"n_refvid{i}_split"
+        g[load_nid] = {"class_type": "LoadVideo", "inputs": {"file": fname}}
+        # GetVideoComponents 把 VIDEO 拆成 images/audio/fps/bit_depth/color_space——
+        # ref_video 要 IMAGE 不是 VIDEO，ref_video_audio 用的就是同一段视频自带的音轨，
+        # 不需要用户再单独传一份音频。
+        g[split_nid] = {"class_type": "GetVideoComponents", "inputs": {"video": [load_nid, 0]}}
+        conditioning_inputs[f"ref_videos.ref_video_{i}"] = [split_nid, 0]
+        conditioning_inputs[f"ref_video_audios.ref_video_audio_{i}"] = [split_nid, 1]
+    for i, url in enumerate(req.reference_audio_urls[:3]):
+        fname = _fetch_to_input(url, kind="audio")
+        nid = f"n_refaudio{i}"
+        g[nid] = {"class_type": "LoadAudio", "inputs": {"audio": fname}}
+        conditioning_inputs[f"ref_audios.ref_audio_{i}"] = [nid, 0]
     g["n_cond"] = {"class_type": "MiniMaxH3ReferenceToVideo", "inputs": conditioning_inputs}
     _append_sampling_tail(g, req, positive_node="n_cond")
@@ -403,10 +456,7 @@ async def _run_job_async(j: Job):
     status = hist.get("status") or {}
     if status.get("status_str") == "error":
-        # 2026-08-23: 之前截前2000字符——Python异常堆栈的关键结论行（比如真正的
-        # "CUDA out of memory"）在traceback最后，截头会把它切没，console上只能看到一堆
-        # 无意义的调用栈开头。改成截尾，真正有用的报错原因才留得下来。
-        raise RuntimeError(f"ComfyUI execution_error: {json.dumps(status.get('messages', []), ensure_ascii=False)[-2000:]}")
+        raise RuntimeError(f"ComfyUI execution_error: {_extract_error_summary(status.get('messages', []))}")
     # 视频文件在 outputs.<save节点id>.images[] 里，不是 "videos" key——ComfyUI 内部历史遗留命名
     save_out = hist["outputs"]["n_save"]["images"][0]
@@ -426,6 +476,10 @@ def worker():
         j = JOBS.get(jid)
         if j is None:
             continue
+        if j.status == "cancelled":
+            # 排在队里的时候被取消了——直接跳过，不要覆盖回running，也不要真的去跑
+            Q.task_done()
+            continue
         j.status = "running"
         j.started_at = time.time()
         _persist(j)
@@ -491,6 +545,39 @@ def create_video(req: GenReq):
             "eta_seconds": None, "poll": f"/v1/videos/{jid}", "backend": BACKEND_URL}
+@app.post("/v1/videos/{jid}/cancel")
+def cancel_video(jid: str):
+    j = JOBS.get(jid)
+    if j is None:
+        raise HTTPException(404, "无此任务")
+    if j.status == "queued":
+        with LOCK:
+            j.status = "cancelled"
+            j.finished_at = time.time()
+            j.error = "用户手动取消"
+        _persist(j)
+        return j.model_dump()
+    if j.status == "running":
+        # 2026-08-24实测确认：ComfyUI的/interrupt打断不了Raylight——它的实际计算跑在独立的
+        # Ray子进程里（FSDP分布式），根本不检查ComfyUI主进程的打断标志位（打断前后GPU一直
+        # 100%利用率，采样步数照样往前走，完全没停）。唯一能真正把GPU立刻收回来的办法是硬
+        # 重启整个服务，跟"actor崩溃/卡死"的恢复手段一样——不假装能优雅停止。
+        with LOCK:
+            j.status = "cancelled"
+            j.finished_at = time.time()
+            j.error = "用户手动停止（硬重启GPU——Raylight的Ray子进程收不到ComfyUI的/interrupt信号，见notes.md）"
+        _persist(j)
+        # sleep 2 秒让这个HTTP响应先发出去，再让 start.sh 把这个进程自己也杀掉重启，
+        # 不能同步等 start.sh 跑完（它会把当前进程杀掉，等不到返回）。
+        subprocess.Popen(
+            ["bash", "-c", "sleep 2 && bash /data/models/raylight/start.sh "
+                           ">> /data/models/raylight/stop-restart.log 2>&1"],
+            start_new_session=True,
+        )
+        return j.model_dump()
+    raise HTTPException(409, f"任务当前状态是 {j.status}，无法取消/停止")
+
+
 @app.get("/v1/videos/{jid}")
 def get_video(jid: str):
     j = JOBS.get(jid)