Skill · API · Gateway · Record
Agent Skill 负责请求编排，数字人生成由可替换的 Provider 后端实现。
流程 · Flow
文本模式和音频模式，共用同一套生成流程。
当前支持参考视频 + 文案、参考视频 + 连续语音两种输入。客户端负责提交任务、轮询状态和下载结果。
job lifecycle
Reference video + text / audio → MP4 + record
两种输入
文案驱动
参考视频 + 文案
写好脚本，让参考视频里的人物说新的内容。
--video + --text
配音驱动
参考视频 + 语音音频
已有配音时，直接让参考人物跟着这段音频对口型。
--video + --audio
处理阶段
-
01
提交任务
Skill 将输入素材封装为请求，提交到 Provider API，并记录任务 ID。
-
02
等待结果
持续查询任务状态，直到后端给出可以下载的视频文件。
-
03
检查文件
确认视频能解码、有音视频流、时长正常，并计算 SHA-256。
输出文件
MP4 + 任务记录
输出 MP4 视频，同时自动保存一份任务记录。日常使用只需要关注成片，排查问题时再看记录。
talking-head.mp4
task record
架构 · Architecture
通过 Provider API 解耦 Agent 与数字人运行时。
上层 Skill 只调用稳定的 HTTP 接口。默认实现是 duix-gateway，也可以替换为兼容同一契约的数字人后端。
接口关系图
上层是 Agent 编排与 API，下层是 gateway 与渲染服务。
Agent 侧
Skill 通过 API 调用后端，不依赖具体 Agent 或运行时
默认后端
运行时可替换，Agent 调用方式保持不变
默认实现
核心能力 · Core
提供 Agent 编排、Provider API 和默认网关。
VirtualMan 不包含模型权重，核心在于用 HTTP API 连接 Agent Skill 与可替换的数字人运行时。
A
Agent Skill在支持 Skill 的 Agent 环境中发起口播任务。
B
Provider API提交任务、查状态、下载结果都走同一套接口。
C
duix-gateway默认网关，包含鉴权、端口预检和 Docker Compose 部署。
D
任务记录每次生成都留下任务 ID、输入哈希和检查结果，便于排查。
快速开始 · Quick start
三步完成首次渲染。
Skill 可以直接从 npm 安装到 Codex、Claude 或 Gemini。默认后端建议放在 Linux 或 WSL 上跑，需要 NVIDIA GPU、Docker、NVIDIA Container Toolkit 和 FFmpeg。
01
安装 Agent Skill
运行 npm 安装器，把 codex 换成 claude、gemini 或 all 也可以。
02
启动 duix-gateway
在有 GPU 的机器上复制 .env，设置 GATEWAY_TOKEN，再启动服务。
03
生成视频
传参考视频和文案或音频，客户端会等待后端出片并下载 MP4。
3 commands · first video
ready
首次渲染
01
Install
npx -y @infranic-org/virtualman-skill install codex
示例安装到 Codex；也支持 claude、gemini 和 all。
02
Start gateway
cp .env.example .env && ./scripts/start.sh
先设置 GATEWAY_TOKEN，启动脚本会预检端口。
03
Render
python3 skills/create-digital-human-video/scripts/render.py --video reference.mp4 --text "你好，这是一次数字人口播测试。"
等待后端出片，下载 MP4；任务记录会自动保存在结果旁边。