← 返回配置页

GPU 渠道与视频接口

文档与配置页:http://localhost:1130/。配置卡位于最上方,暂不要求登录。生成接口仍使用 .env 中的 MEDIA_API_KEYS。

独立渠道设置

渠道 ID 连接
AutoDL autodl 填实际实例 HTTP API 地址,支持 Zealman 面板 / 原生 H3
OneThingAI onethingai 支持原生 ComfyUI,推荐 SSH 自动隧道

网站控制台地址不是 ComfyUI API 地址。SSH 填主机、端口、用户、密码或私钥、可信服务器公钥以及远程 API 端口。服务器公钥为 ssh-ed25519 AAAA… 等完整公钥,不能仅填 SHA256:… 指纹。公钥需要来自可信登录记录;连接会检查服务器身份。

每个渠道可分别启用、关闭、保存和测试。密码 / 私钥 / 上游 Key 留空保留,API 中传 null 清除。页面不读回秘密,只显示是否已配置。运行配置和密钥在 ${CHANNEL_CONFIG_HOST_DIR:-./runtime/channel-config},已排除 Git 与 Docker 构建;备份时同时备份 secret.key 和 channels.json。默认 H3 参数:5 秒、480 × 864、20 步、24 fps,模型文件也可修改。

启动:在 wrapper 项目目录执行 sh restart.sh。使用 docker-compose。页面修改配置即时生效,不需要重建镜像。

GPU 关机时仍可使用配置页、模型目录、分镜编辑和保存。Docker 与启动脚本检查本地 /healthz,不访问 GPU;BACKEND_STARTUP_PROBE=false 关闭启动自动探测。文档首页首次加载只读取保存的渠道与本地工作流;「测试连接」、手动刷新远程工作流、显式调用 /health 和提交视频任务才访问上游。明天开机后点击「测试连接」,确认后再生成视频,现有渠道配置无需重填。

调用接口

GET /v1/channel-models 返回两渠道开关、默认参数、可选模型与输入模式。目录表示已配置的适配能力;是否安装对应权重用配置页「测试连接」核对。

POST /v1/videos 提交任务,默认异步返回 202;GET /v1/videos/{id} 查询,GET /v1/videos/{id}/content 读取 MP4(支持 Range)。三个接口均需要 Authorization: Bearer <MEDIA_API_KEYS 中的一个 Key>。

剧芽可以在同一次请求中传入用户自己的显卡配置:gpu_profiles 是 AutoDL / OneThingAI 配置数组。Wrapper 只在本次任务内使用这些配置,不写入全局渠道文件;同一平台会按 Wrapper 中未完成任务数最少的配置选择显卡。数组为空或未传时,继续使用 Wrapper 内置的渠道配置,适合 NewAPI 中转。配置中的密码、私钥和 API Key 只应通过 HTTPS 传输。

{
  "channel": "onethingai",
  "model": "minimax-h3",
  "mode": "text_to_video",
  "prompt": "一位青年面对镜头说:你好,很高兴见到你。同步生成清晰中文人声,无字幕。",
  "seconds": 5,
  "width": 480,
  "height": 864,
  "steps": 20,
  "seed": 42,
  "response_format": "file"
}

多显卡请求示例(敏感字段仅作示意):

{
  "channel": "autodl",
  "model": "minimax-h3",
  "prompt": "一只猫走过海边",
  "gpu_profiles": [
    {"id": "gpu-a", "platform": "autodl", "transport": "http", "base_url": "https://gpu-a.example", "api_key": "***"},
    {"id": "gpu-b", "platform": "autodl", "transport": "http", "base_url": "https://gpu-b.example", "api_key": "***"}
  ]
}
模式 额外参数
text_to_video 无素材
image_to_video first_frame_url(也支持 OpenAI input_reference 图片上传)
first_last_to_video first_frame_url、last_frame_url
ref2va reference_images(最多9)、reference_videos(最多3)、reference_audios(最多3),至少一项非空

素材可用 HTTP(S) URL 或 data:<mime>;base64,…。图片最多20MB,视频100MB,音频40MB。视频参考要求24fps,建议2–15秒;提示词引用 <Picture 1> / <Video 1> / <Audio 1>。视频带音轨时会在视频之前占用一个 Audio 编号,独立音频编号接在视频音轨之后。原生 H3 使用 fl2va / ref2va 的独立权重;不支持此适配器中的 variant=fast、自定义节点参数、negative_prompt 或 cfg。

response_format=file / url 返回本地存储文件的访问 URL;b64_json / base64 返回 base64。输出存入 ${MEDIA_OUTPUT_HOST_DIR:-./media-output}/{id}/video.mp4,公开地址前缀由 MEDIA_PUBLIC_BASE_URL 决定。H3 原生帧数为 17k+5,后处理调整视频和音频速度到所需时长,保留模型原生声音。

每个渠道独立排队,最多50个未完成任务。任务状态与上游 prompt ID 持久保存,重启后继续查询已确认的任务,不重复提交。提交响应丢失的任务标记失败,需核对上游队列后再手动重试。取消停止客户端等待,已经提交的共享 GPU 任务仍会执行。

Node.js 实测

修改 examples/channel-video.mjs 顶部参数和素材路径,然后在 wrapper 目录执行:

node --env-file=.env examples/channel-video.mjs

要求 Node.js20.6+,无需安装 npm 依赖。自动读取已有 Key、提交、显示等待动画、查询进度、下载本地 MP4 和生成可播放 HTML。

NewAPI 的 integrations/newapi/comfyui-video.js 同样支持在 metadata 中传 channel、mode 和三类参考素材。渠道选 OneThingAI 时用公开模型名 MiniMax-H3。SubAPI 必须支持异步视频协议、状态查询和内容下载;只兼容聊天或图片的中转渠道不能直接当成视频渠道。

多模型能力与动态参数

剧芽 /videos 从 Wrapper 的本地目录读取 mode_parameters,按模型、渠道和生成方式联动控件。保存与提交都按同一能力校验;切换模型会重新选取有效默认值。参数目录不连接 GPU,适配已实现不代表远程服务器已安装模型。

原生 ComfyUI 模型 ID 已内置生成方式 声音 特有参数
minimax-h3 文生、图生、首尾帧、ref2va 原生音画 24 fps 固定;步数;32 对齐;5–15 秒
wan2.1 文生(T2V 1.3B) 无声 fps 8–60,默认16;步数、CFG、负面提示词;16 对齐
wan2.2 文生、图生、首尾帧(A14B) 无声 16 fps 固定;两阶段采样、步数与 CFG、负面提示词;16 对齐
ltx-2.3 文生、图生、首尾帧、图片+音频参考(ref2va) 原生音画 fps 24/25/30/50/60;CFG、负面提示词;两阶段输出64对齐,首尾帧32对齐;固定采样调度,不开放任意步数
hunyuan-video 文生、图生(HunyuanVideo 1.5 720P) 无声 24 fps 固定;步数、CFG、负面提示词;16 对齐;不包含1080P超分分支

除 H3 外,以上适配时长为整数1–15秒,默认5秒。LTX ref2va 必须恰好一张参考图片、一段参考音频,不接受视频参考。Wan 2.1 当前没有内置图生工作流,混元当前没有首尾帧/多参考工作流,不在界面提供这些方式。不要将其他变体的能力直接套用到这些适配器。

Zealman 面板使用已经明确映射的工作流:H3 四种模式(参考模式不含视频参考);Wan 2.2 SmoothMixV2 仅图生,resolution 为256–1536间16倍数的最长边,画面比例跟随首帧,不接受width/height/steps/CFG;LTX 2.3仅图生,fps为8–60,默认30,宽高32对齐,不接受steps/CFG。面板没有确定的 Wan 2.1/混元工作流 ID,因此不冒充可用。需要这些模型时请选择原生 ComfyUI 渠道。

GET /api/channel-model-files 无需 GPU,展示内置文件名、模式绑定键和节点要求。配置页顶部「其他视频模型设置」可为每个渠道单独保存模型开关和每种模式的文件覆盖;未覆盖的文件使用示例默认名称。例如:

{
  "wan2.2": {
    "enabled": true,
    "files": {
      "text_to_video": {
        "71:clip_name": "你的umt5编码器.safetensors"
      }
    }
  },
  "hunyuan-video": {"enabled": false}
}

H3 文件继续使用原有文件表单。原生 Wan 2.1 使用 ComfyUI-WanVideoWrapper 节点;Wan 2.2、LTX 2.3、混元1.5使用 Comfy-Org 的示例工作流转换后的 API 图,原始来源/固定版本记录在 channel_api/native_templates/*.json,MIT许可在同目录 LICENSE。需要远程服务器有相应 ComfyUI版本、节点和权重;不自动下载大型模型或修改服务器。

GPU 开机后手动「测试已保存的连接」会返回逐模型、逐模式的 model_readiness,列出缺少的文件和节点,避免把 H3 检测成功当作其他模型也已安装。当前本地测试使用模拟 ComfyUI任务接口,覆盖提交、查询、素材绑定和本地输出;真实生成与声音质量尚未测试。