三个节点跑通 AI 动作迁移把视频里的舞蹈复制到任何一个人身上【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapperComfyUI-MimicMotionWrapper 是基于腾讯 MimicMotion 技术的 ComfyUI 插件核心能力是 AI 动作迁移从一段源视频里提取人物动作再让你指定的参考人物把同一套动作做出来。不需要动捕设备把项目自带的工作流 json 导入即可跑通。 AI 动作迁移解决什么问题舞蹈视频的动作很好但你需要自己角色或虚拟形象表演的版本传统动捕要套装、光学场地和数据交接。多个角色要表演同一套动作逐个人重新绘制或拍摄效率极低跨角色的动作一致性很难保证。目标人物体型和源视频人物不同直接换人后姿态比例会错位。这个项目把动作采集到视频生成的整条链路压缩掉了原来数天的后期工作量现在按 GPU 算力算分钟。 三步跑通 AI 动作迁移第一步装。克隆到 custom_nodes 并安装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper pip install -r ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper/requirements.txt第二步配。模型全部自动下载不用手动找文件MimicMotion 主模型约 3.05 GB存入 ComfyUI/models/mimicmotion有 1-0 / 1-1 两个版本可选SVD XT 1.1fp16 diffusers 版约 4.19 GB存入 ComfyUI/models/diffusers/DWPose 检测模型yolox_l dw-ll_ucoco_384在第一次用到MimicMotionGetPoses节点时自动拉取。第三步跑。分三个子步骤导入工作流在 ComfyUI 里加载 examples/mimic_motion_example_02.json。换素材LoadImage 节点给参考人物图VHS_LoadVideo 节点给动作源视频两边分辨率必须一致示例统一缩放到 576×1024。执行出结果GetPoses → Sampler → Decode → VHS_VideoCombine 这条链路跑完输出结果 mp4同时导出一份姿态预览 webp方便核对骨骼提取是否跟上了原视频。 底层怎么做的把视频变成姿态图序列输入是动作源视频的每一帧。处理分两截MimicMotionGetPoses节点先用 DWPoseYOLOX 检测 dw-ll_ucoco_384 姿态估计逐帧定位身体、手部、面部关键点再拿参考图的姿态当锚点拟合一组线性映射参数把整段视频的姿态缩放到参考人物的体型尺度上输出每帧一张姿态图。骨骼拟合与绘制逻辑在 mimicmotion/dwpose/ 里。姿态序列作为条件喂给扩散模型输入是第一帧参考图 姿态图序列。处理时小型卷积网络PoseNetmimicmotion/modules/pose_net.py把姿态图压到 UNet 的 320 通道输入空间与时空 UNet 一起去噪窗口按 context_size16、overlap6 滑动推进参考图编码出的 latent 沿通道维拼接到所有帧guidance scale 从 cfg_min 到 cfg_max 逐帧线性增大第一帧牢牢锚定参考人物后面的帧更强地跟随姿态。细节见 mimicmotion/pipelines/pipeline_mimicmotion.py。输出是去噪后的 latent 序列。分块解码成视频输入 latent 序列MimicMotionDecode按decode_chunk_size默认 4 帧分块交给 VAE 解码显存不够时自动退到 1 帧一批输出帧序列后由 VHS_VideoCombine 写成 mp4示例为 12fps、crf 19。 谁在用、怎么用虚拟偶像和游戏团队需要一套动作让所有角色都能做传统方案是动捕数据交接。这里把参考图换成每个角色、姿态视频保持不变生成的视频共享同一套动作结构批量替换成本接近于零。短视频的换人跳舞系列挑一段热门舞蹈做姿态源参考图换成不同人物或虚拟形象就是一条新内容。工作流完全固定只换两处素材。教学与动作对比一套动作模板生成不同模特的版本方便做前后对比。健身、舞蹈教学这类需要标准动作 不同示范者的内容直接受益。️ 参数调优与排错参数作用推荐值pose_strength姿态条件强度取值 0–10默认 1.0动作过死板时降到 0.7–0.9context_size / context_overlap去噪滑动窗口帧数 / 重叠帧数16 / 6用 1-1 模型时 context_size 改 72cfg_min / cfg_max首帧到末帧的 guidance 区间2.0 / 2.0首帧不稳定时调高 cfg_minsteps去噪步数20–25decode_chunk_size每批解码帧数4显存吃紧时降到 1排错只列三个高频问题症状报错 ref_image and pose_images must have the same resolution。解法参考图与姿态视频两边分辨率必须相同用 ImageResizeKJ 统一到 576×1024示例工作流已包含。症状采样阶段显存溢出。解法关闭keep_model_loaded仍不行就调低context_size或用 VHS_LoadVideo 的 frame_load_cap 减少载入帧数示例设了 15。症状生成视频的动作跟不上源视频。解法先看导出的姿态预览 webp骨骼没跟上就换人物更清晰的源视频骨骼正常但动作不跟换个 seed 再试若是动作过刚硬把pose_strength从 1.0 降到 0.8。 和传统做法比维度传统动捕本项目动作来源动捕套装 光学场地一段视频 一张参考图换角色每个角色重做动画换参考图重跑一遍动作一致性多人对齐靠人工同一姿态序列作为条件天然一致交付周期数天到数周分钟级取决于 GPU成本设备 人力约 7.2 GB 模型下载 算力流程被压缩到导入 json 然后运行剩下的工作是挑素材和调参数。最好的入门方式是先跑通一次完整输出原样运行 examples/mimic_motion_example_02.json素材在 assets/example_data/ 里已备好跑通后只替换自己的参考图和动作视频每次只动一个参数。想换去噪策略直接在工作流里接DiffusersScheduler节点EulerDiscreteScheduler 与 AnimateLCM_SVD 二选一测试配置参考 configs/。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
三个节点跑通 AI 动作迁移：把视频里的舞蹈复制到任何一个人身上
三个节点跑通 AI 动作迁移把视频里的舞蹈复制到任何一个人身上【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapperComfyUI-MimicMotionWrapper 是基于腾讯 MimicMotion 技术的 ComfyUI 插件核心能力是 AI 动作迁移从一段源视频里提取人物动作再让你指定的参考人物把同一套动作做出来。不需要动捕设备把项目自带的工作流 json 导入即可跑通。 AI 动作迁移解决什么问题舞蹈视频的动作很好但你需要自己角色或虚拟形象表演的版本传统动捕要套装、光学场地和数据交接。多个角色要表演同一套动作逐个人重新绘制或拍摄效率极低跨角色的动作一致性很难保证。目标人物体型和源视频人物不同直接换人后姿态比例会错位。这个项目把动作采集到视频生成的整条链路压缩掉了原来数天的后期工作量现在按 GPU 算力算分钟。 三步跑通 AI 动作迁移第一步装。克隆到 custom_nodes 并安装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper pip install -r ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper/requirements.txt第二步配。模型全部自动下载不用手动找文件MimicMotion 主模型约 3.05 GB存入 ComfyUI/models/mimicmotion有 1-0 / 1-1 两个版本可选SVD XT 1.1fp16 diffusers 版约 4.19 GB存入 ComfyUI/models/diffusers/DWPose 检测模型yolox_l dw-ll_ucoco_384在第一次用到MimicMotionGetPoses节点时自动拉取。第三步跑。分三个子步骤导入工作流在 ComfyUI 里加载 examples/mimic_motion_example_02.json。换素材LoadImage 节点给参考人物图VHS_LoadVideo 节点给动作源视频两边分辨率必须一致示例统一缩放到 576×1024。执行出结果GetPoses → Sampler → Decode → VHS_VideoCombine 这条链路跑完输出结果 mp4同时导出一份姿态预览 webp方便核对骨骼提取是否跟上了原视频。 底层怎么做的把视频变成姿态图序列输入是动作源视频的每一帧。处理分两截MimicMotionGetPoses节点先用 DWPoseYOLOX 检测 dw-ll_ucoco_384 姿态估计逐帧定位身体、手部、面部关键点再拿参考图的姿态当锚点拟合一组线性映射参数把整段视频的姿态缩放到参考人物的体型尺度上输出每帧一张姿态图。骨骼拟合与绘制逻辑在 mimicmotion/dwpose/ 里。姿态序列作为条件喂给扩散模型输入是第一帧参考图 姿态图序列。处理时小型卷积网络PoseNetmimicmotion/modules/pose_net.py把姿态图压到 UNet 的 320 通道输入空间与时空 UNet 一起去噪窗口按 context_size16、overlap6 滑动推进参考图编码出的 latent 沿通道维拼接到所有帧guidance scale 从 cfg_min 到 cfg_max 逐帧线性增大第一帧牢牢锚定参考人物后面的帧更强地跟随姿态。细节见 mimicmotion/pipelines/pipeline_mimicmotion.py。输出是去噪后的 latent 序列。分块解码成视频输入 latent 序列MimicMotionDecode按decode_chunk_size默认 4 帧分块交给 VAE 解码显存不够时自动退到 1 帧一批输出帧序列后由 VHS_VideoCombine 写成 mp4示例为 12fps、crf 19。 谁在用、怎么用虚拟偶像和游戏团队需要一套动作让所有角色都能做传统方案是动捕数据交接。这里把参考图换成每个角色、姿态视频保持不变生成的视频共享同一套动作结构批量替换成本接近于零。短视频的换人跳舞系列挑一段热门舞蹈做姿态源参考图换成不同人物或虚拟形象就是一条新内容。工作流完全固定只换两处素材。教学与动作对比一套动作模板生成不同模特的版本方便做前后对比。健身、舞蹈教学这类需要标准动作 不同示范者的内容直接受益。️ 参数调优与排错参数作用推荐值pose_strength姿态条件强度取值 0–10默认 1.0动作过死板时降到 0.7–0.9context_size / context_overlap去噪滑动窗口帧数 / 重叠帧数16 / 6用 1-1 模型时 context_size 改 72cfg_min / cfg_max首帧到末帧的 guidance 区间2.0 / 2.0首帧不稳定时调高 cfg_minsteps去噪步数20–25decode_chunk_size每批解码帧数4显存吃紧时降到 1排错只列三个高频问题症状报错 ref_image and pose_images must have the same resolution。解法参考图与姿态视频两边分辨率必须相同用 ImageResizeKJ 统一到 576×1024示例工作流已包含。症状采样阶段显存溢出。解法关闭keep_model_loaded仍不行就调低context_size或用 VHS_LoadVideo 的 frame_load_cap 减少载入帧数示例设了 15。症状生成视频的动作跟不上源视频。解法先看导出的姿态预览 webp骨骼没跟上就换人物更清晰的源视频骨骼正常但动作不跟换个 seed 再试若是动作过刚硬把pose_strength从 1.0 降到 0.8。 和传统做法比维度传统动捕本项目动作来源动捕套装 光学场地一段视频 一张参考图换角色每个角色重做动画换参考图重跑一遍动作一致性多人对齐靠人工同一姿态序列作为条件天然一致交付周期数天到数周分钟级取决于 GPU成本设备 人力约 7.2 GB 模型下载 算力流程被压缩到导入 json 然后运行剩下的工作是挑素材和调参数。最好的入门方式是先跑通一次完整输出原样运行 examples/mimic_motion_example_02.json素材在 assets/example_data/ 里已备好跑通后只替换自己的参考图和动作视频每次只动一个参数。想换去噪策略直接在工作流里接DiffusersScheduler节点EulerDiscreteScheduler 与 AnimateLCM_SVD 二选一测试配置参考 configs/。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
