SadTalker 常见问题排查手册ffmpeg 依赖、权重损坏与 CUDA 显存报错的源码级诊断【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker本篇基于 SadTalker 官方 FAQ 文档系统梳理部署与运行 SadTalker 时最常遇到的七类报错系统依赖缺失、Python 环境基线、模型权重损坏、配置文件缺失、CUDA 显存不足以及音频格式不合法。每个问题都会给出具体的修复命令并结合当前仓库源码说明报错的触发位置帮助你把报错信息直接定位到代码中的调用链从而独立完成环境排障与复现验证。排查总览八类问题与解决路径速查FAQ 文档覆盖的问题可归为三类系统依赖类ffmpeg 缺失、dlib 二进制不兼容、Python 运行环境基线、模型资产类checkpoint 下载不完整或损坏、BFM 配置文件缺失、gfpgan 离线权重缺失、运行资源类CUDA 显存不足、音频输入格式错误。在下文逐项展开之前可先通过下表快速定位报错关键字类别修复动作源码验证点ffmpeg is not recognized as an internal or external command系统依赖按平台安装 ffmpeg 并加入 PATHsrc/utils/videoio.py 中通过os.system调用 ffmpeg 合并音视频ModuleNotFoundError: No module named ai模型资产/依赖校验epoch_20.pth等 checkpoint 的文件大小是否完整src/utils/preprocess.py 的CropAndExtract.__init__加载 3DMM 重建网络Illegal Hardware ErrorMac M1系统依赖单独重装pip install dlibrequirements.txt 中face_alignment1.3.5依赖 dlib 编译二进制FileNotFoundError: ...similarity_Lm3D_all.mat模型资产运行 scripts/download_models.sh 下载模型并放到正确目录src/utils/init_path.py 的dir_of_BFM_fitting路径设置RuntimeError: unexpected EOF ... The file might be corrupted.模型资产更新代码重新下载 gfpgan 离线补丁scripts/download_models.sh 下载 4 个 gfpgan/facexlib 权重CUDA out of memory运行资源设置PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128后重跑inference.py 推理入口Error while decoding stream #0:0: ... mp3float ... Header missing输入数据确认驱动音频为 wav 或 mp3src/generate_batch.py 中audio.load_wav读取音频问题一ffmpeg is not recognized as an internal or external command报错原因推理结束后用系统 ffmpeg 合并音视频SadTalker 的推理流程最后一步是把渲染出的视频流与驱动音频合并为成片。从源码看src/utils/videoio.py 的save_video_with_watermark直接通过os.system拼接 shell 命令调用系统级ffmpegcmd rffmpeg -y -hide_banner -loglevel error -i %s -i %s -vcodec copy %s % (video, audio, temp_file) os.system(cmd)因此ffmpeg不是 Python 依赖而是系统可执行程序。若系统 PATH 中找不到它任何一次完整推理都会在收尾阶段失败。此外 requirements.txt 中的imageio-ffmpeg只覆盖了 imageio 内部转码路径并不能替代此处显式调用的系统ffmpeg。按平台安装 ffmpegFAQ 给出的官方建议如下Linux通过 conda 安装推荐直接放入当前 conda 环境的 PATHconda install ffmpegmacOS通过 Homebrew 安装brew install ffmpegWindows确认ffmpeg所在目录已加入%PATH%FAQ 引用了社区 issue 的验证结论再按标准 Windows 安装流程放置 ffmpeg 的可执行文件并刷新环境变量。安装完成后用ffmpeg -version验证。Windows 平台还有一个高频诱因Python 安装时未勾选 Add Python to PATH导致python命令本身也不可用排查时应同时确认 Python 与 ffmpeg 两个可执行文件均可被命令行识别。问题二运行环境基线Running RequirementsFAQ 对运行需求的原始回答指向社区讨论区没有直接列出依赖清单。结合当前仓库的 README 与依赖文件可以给出可执行的环境基线Python3.8README 安装步骤使用conda create -n sadtalker python3.8创建独立环境PyTorchtorch1.12.1cu113、torchvision0.13.1cu113、torchaudio0.12.1需从 PyTorch 官方 cu113 索引安装对应 CUDA 11.3 运行时系统依赖conda install ffmpeg见问题一Python 依赖安装仓库根目录的 requirements.txt核心包包括依赖固定版本在推理链中的作用numpy1.23.4基础数值计算版本过新会与部分旧包 ABI 冲突face_alignment1.3.5人脸对齐/关键点检测依赖 dliblibrosa0.9.2音频加载与 mel 频谱src/utils/audio.py 全程基于 librosabasicsr/facexlib/gfpgan1.4.2 / 0.3.0 / 未锁版本人脸增强器--enhancer gfpgansafetensors未锁版本新版打包权重SadTalker_V0.0.2_*.safetensors的加载imageio/imageio-ffmpeg/av2.19.3 / 0.4.7 / 未锁视频读写gradio未锁版本本地 WebUIapp_sadtalker.py如果还需要 3D 人脸可视化--face3dvisREADME 提示 3D 相关依赖单独放在 requirements3d.txt 中按需安装即可。问题三ModuleNotFoundError: No module named ai官方解法先校验 checkpoint 文件大小FAQ 对该报错的官方答案是检查epoch_20.pth这个 checkpoint 的文件大小是否完整FAQ 引用了两个社区 issue 作为佐证。也就是说这个看似缺 Python 模块的错误官方经验里首先要排除的是模型文件下载不完整导致的安装/加载流程异常。源码中的加载点3DMM 重建网络epoch_20.pth在代码中的消费位置在 src/utils/preprocess.py 的CropAndExtract.__init__中if sadtalker_path[use_safetensor]: checkpoint safetensors.torch.load_file(sadtalker_path[checkpoint]) self.net_recon.load_state_dict(load_x_from_safetensor(checkpoint, face_3drecon)) else: checkpoint torch.load(sadtalker_path[path_of_net_recon_model], map_locationtorch.device(device)) self.net_recon.load_state_dict(checkpoint[net_recon])其中path_of_net_recon_model指向checkpoints/epoch_20.pth旧版布局或指向新版打包权重SadTalker_V0.0.2_256.safetensors/SadTalker_V0.0.2_512.safetensors。选择逻辑在 src/utils/init_path.py只要checkpoints/目录下存在*.safetensors文件就优先走 safetensors 路径并打印using safetensor as default否则回退到旧版 pth 权重并打印 WARNING。从源码结构看该报错也可能来自ai模块本身缺失该模块由aiortc包提供常被 TTS 等语音相关依赖链引入用于实时音视频传输此时补装对应 Python 依赖即可。因此完整的排查顺序是用ls -lh查看checkpoints/epoch_20.pth大小与模型发布页的官方大小比对确认下载完整若使用新版权重确认checkpoints/SadTalker_V0.0.2_256.safetensors或 512 版存在且大小正确——scripts/download_models.sh 中列出的就是这几个文件若文件完整仍报缺模块再转向补装 Python 依赖如 TTS 依赖链。问题四Illegal Hardware ErrorMac M1 系列芯片FAQ 的官方解法是单独重装 dlibpip install dlib原因是 dlib 是编译型 C 扩展M1/M2 等 ARM 芯片上从他人环境拷贝的 wheel 或 pip 缓存里残留的 x86 二进制会直接触发非法指令错误Illegal Hardware Error。而 dlib 恰恰是人脸关键点链路的关键组件requirements.txt 锁定了face_alignment1.3.5其底层依赖 dlib人脸对齐在 src/utils/preprocess.py 中通过self.propress.predictor.extract_keypoint(...)完成关键点提取随后送入 3DMM 重建网络。在 Apple Silicon 上重装 dlib 时让 pip 从源码针对本机架构重新编译即可消除非法硬件指令错误。问题五FileNotFoundError: .../similarity_Lm3D_all.mat报错含义BFM_Fitting 配置文件缺失或目录布局错位FAQ 的官方回答是确认已按 README下载训练好的模型一节完成下载并且文件放在正确位置。这条报错的关键信息在路径本身——checkpoints\BFM_Fitting\similarity_Lm3D_all.mat是旧版目录布局下的期望位置而该路径使用 Windows 风格分隔符说明报错发生在 Windows 环境。当前仓库的路径布局从当前仓库源码看BFM 相关数据目录已经不再指向checkpoints/BFM_Fitting。src/utils/init_path.py 中直接写死sadtalker_paths[dir_of_BFM_fitting] os.path.join(config_dir)其中config_dir是 inference.py 传入的src/config也就是说当前布局下similarity_Lm3D_all.mat应位于 src/config/similarity_Lm3D_all.mat该文件在仓库中已随源码提供。它在 src/utils/preprocess.py 的CropAndExtract.__init__中经load_lm3d加载用于 2D/3D 人脸关键点标准化align_img的对齐基准。因此遇到该报错的处置策略若在旧版本代码上运行--old_version或旧 checkout按 FAQ 提示补全checkpoints/BFM_Fitting/目录若在当前版本运行仍报此错优先执行git pull更新代码并运行 scripts/download_models.sh 完成权重下载——脚本对模型文件使用wget -ncno-clobber不覆盖已存在文件中断后重跑可安全续传检查src/config/下similarity_Lm3D_all.mat、auido2exp.yaml、auido2pose.yaml、facerender.yaml等文件是否完整见 src/config 目录。问题六RuntimeError: unexpected EOF, expected N more bytes. The file might be corrupted.FAQ 对这条报错的定性很明确相关文件不会被自动下载需要手动更新代码并下载 gfpgan 相关文件夹。这条EOF/corrupted报错的典型来源是 gfpgan 增强器加载权重时文件只下载了一半例如带宽中断、网盘转存被截断torch 反序列化到文件尾部就抛 EOF。当前仓库为离线推理提供了gfpgan 离线补丁README 说明生成过程中不会再联网下模型对应 scripts/download_models.sh 中的 4 个权重文件文件目标位置用途alignment_WFLW_4HG.pthgfpgan/weights/facexlib 人脸对齐detection_Resnet50_Final.pthgfpgan/weights/facexlib 人脸检测GFPGANv1.4.pthgfpgan/weights/GFPGAN v1.4 人脸修复主模型parsing_parsenet.pthgfpgan/weights/人脸解析parsenet处置步骤用ls -lh gfpgan/weights/逐个核对 4 个文件大小与模型发布页比对发现明显偏小的即为截断文件删除或重命名损坏文件后重新执行 scripts/download_models.sh或手动重新下载该单项注意该脚本同时会下载主模型mapping_00109/00229-model.pth.tar、SadTalker_V0.0.2_256/512.safetensors一次性保证 src/utils/init_path.py 中引用的checkpoints/SadTalker_V0.0.2_size.safetensors存在。问题七CUDA out of memoryFAQ 给出的官方缓解方案是设置 PyTorch 的显存分配环境变量约束单次最大内存块减少显存碎片# Windows set PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 python inference.py ... # Linux export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 python inference.py ...这条建议针对的是显存总量够、但碎片化分配失败的场景PyTorch 缓存分配器默认会把大块空闲显存切分成 128MB 以上的子块来响应不同请求碎片积累后可能出现还有空闲却申请失败。限制max_split_size_mb后分配粒度变小长序列音频越长、帧数越多src/generate_batch.py 中 mel 特征窗口越多推理时的申请模式更可控。结合当前仓库还可以补充两个降低显存占用的可调参数均定义在 inference.py 的参数解析中--size 256人脸渲染分辨率默认 256调大如 512显存占用显著上升--batch_sizefacerender 批大小默认为 2显存紧张时可降到 1。问题八音频解码报错Invalid data found when processing input [mp3float ...] Header missingFAQ 的官方结论SadTalker 驱动音频只支持 wav 或 mp3 两种格式。这条Error while decoding stream报错来自 ffmpeg/解码器层面对输入流的解析失败——常见于容器封装不规范如把非标准封装的 mp3 直接改名、编码损坏或传入 flac/ogg/m4a 等不受支持的格式。从源码看音频的进入路径是src/generate_batch.py 的get_data中audio.load_wav(audio_path, 16000)经 librosa 重采样到 16kHz随后由 src/utils/audio.py 的melspectrogram计算 80 维 mel 频谱再按 25fps、syncnet_mel_step_size16的窗口切分成逐帧特征[T, 80, 16]。因此最稳妥的做法是先用 ffmpeg 把驱动音频统一转成 16kHz wav 再喂给推理ffmpeg -i input.mp3 -ar 16000 -ac 1 output.wav python inference.py --driven_audio output.wav \ --source_image video.mp4 or picture.png \ --enhancer gfpgan仓库自带的示例音频在 examples/driven_audio如bus_chinese.wav可作为格式与采样率的参照样本。排障通用原则先验文件再看环境最后调资源综合 FAQ 文档 的八个问题SadTalker 的部署故障存在清晰的优先级模式先验模型资产完整性。FAQ 中 8 条问题有 3 条No module named ai、unexpected EOF、similarity_Lm3D_all.mat缺失本质都是文件没下完整/没放对位置。统一动作是核对 scripts/download_models.sh 列出的全部文件checkpoints/下 5 个主模型 gfpgan/weights/下 4 个增强权重的个数与大小必要时重跑该脚本续传。再看系统环境。ffmpeg、dlib、Python 3.8 CUDA 11.3 的 PyTorch 是三个硬性基线Windows 平台还要额外确认 PATH 配置。最后调运行参数。显存不足时先用PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128再考虑调小--size与--batch_size。按此顺序排查绝大多数 FAQ 覆盖的报错都能在不动源码的前提下定位到根因每条结论对应的代码位置src/utils/init_path.py、src/utils/preprocess.py、src/utils/videoio.py、src/generate_batch.py可直接作为二次验证的切入点。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
SadTalker 常见问题排查手册：ffmpeg 依赖、权重损坏与 CUDA 显存报错的源码级诊断
SadTalker 常见问题排查手册ffmpeg 依赖、权重损坏与 CUDA 显存报错的源码级诊断【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker本篇基于 SadTalker 官方 FAQ 文档系统梳理部署与运行 SadTalker 时最常遇到的七类报错系统依赖缺失、Python 环境基线、模型权重损坏、配置文件缺失、CUDA 显存不足以及音频格式不合法。每个问题都会给出具体的修复命令并结合当前仓库源码说明报错的触发位置帮助你把报错信息直接定位到代码中的调用链从而独立完成环境排障与复现验证。排查总览八类问题与解决路径速查FAQ 文档覆盖的问题可归为三类系统依赖类ffmpeg 缺失、dlib 二进制不兼容、Python 运行环境基线、模型资产类checkpoint 下载不完整或损坏、BFM 配置文件缺失、gfpgan 离线权重缺失、运行资源类CUDA 显存不足、音频输入格式错误。在下文逐项展开之前可先通过下表快速定位报错关键字类别修复动作源码验证点ffmpeg is not recognized as an internal or external command系统依赖按平台安装 ffmpeg 并加入 PATHsrc/utils/videoio.py 中通过os.system调用 ffmpeg 合并音视频ModuleNotFoundError: No module named ai模型资产/依赖校验epoch_20.pth等 checkpoint 的文件大小是否完整src/utils/preprocess.py 的CropAndExtract.__init__加载 3DMM 重建网络Illegal Hardware ErrorMac M1系统依赖单独重装pip install dlibrequirements.txt 中face_alignment1.3.5依赖 dlib 编译二进制FileNotFoundError: ...similarity_Lm3D_all.mat模型资产运行 scripts/download_models.sh 下载模型并放到正确目录src/utils/init_path.py 的dir_of_BFM_fitting路径设置RuntimeError: unexpected EOF ... The file might be corrupted.模型资产更新代码重新下载 gfpgan 离线补丁scripts/download_models.sh 下载 4 个 gfpgan/facexlib 权重CUDA out of memory运行资源设置PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128后重跑inference.py 推理入口Error while decoding stream #0:0: ... mp3float ... Header missing输入数据确认驱动音频为 wav 或 mp3src/generate_batch.py 中audio.load_wav读取音频问题一ffmpeg is not recognized as an internal or external command报错原因推理结束后用系统 ffmpeg 合并音视频SadTalker 的推理流程最后一步是把渲染出的视频流与驱动音频合并为成片。从源码看src/utils/videoio.py 的save_video_with_watermark直接通过os.system拼接 shell 命令调用系统级ffmpegcmd rffmpeg -y -hide_banner -loglevel error -i %s -i %s -vcodec copy %s % (video, audio, temp_file) os.system(cmd)因此ffmpeg不是 Python 依赖而是系统可执行程序。若系统 PATH 中找不到它任何一次完整推理都会在收尾阶段失败。此外 requirements.txt 中的imageio-ffmpeg只覆盖了 imageio 内部转码路径并不能替代此处显式调用的系统ffmpeg。按平台安装 ffmpegFAQ 给出的官方建议如下Linux通过 conda 安装推荐直接放入当前 conda 环境的 PATHconda install ffmpegmacOS通过 Homebrew 安装brew install ffmpegWindows确认ffmpeg所在目录已加入%PATH%FAQ 引用了社区 issue 的验证结论再按标准 Windows 安装流程放置 ffmpeg 的可执行文件并刷新环境变量。安装完成后用ffmpeg -version验证。Windows 平台还有一个高频诱因Python 安装时未勾选 Add Python to PATH导致python命令本身也不可用排查时应同时确认 Python 与 ffmpeg 两个可执行文件均可被命令行识别。问题二运行环境基线Running RequirementsFAQ 对运行需求的原始回答指向社区讨论区没有直接列出依赖清单。结合当前仓库的 README 与依赖文件可以给出可执行的环境基线Python3.8README 安装步骤使用conda create -n sadtalker python3.8创建独立环境PyTorchtorch1.12.1cu113、torchvision0.13.1cu113、torchaudio0.12.1需从 PyTorch 官方 cu113 索引安装对应 CUDA 11.3 运行时系统依赖conda install ffmpeg见问题一Python 依赖安装仓库根目录的 requirements.txt核心包包括依赖固定版本在推理链中的作用numpy1.23.4基础数值计算版本过新会与部分旧包 ABI 冲突face_alignment1.3.5人脸对齐/关键点检测依赖 dliblibrosa0.9.2音频加载与 mel 频谱src/utils/audio.py 全程基于 librosabasicsr/facexlib/gfpgan1.4.2 / 0.3.0 / 未锁版本人脸增强器--enhancer gfpgansafetensors未锁版本新版打包权重SadTalker_V0.0.2_*.safetensors的加载imageio/imageio-ffmpeg/av2.19.3 / 0.4.7 / 未锁视频读写gradio未锁版本本地 WebUIapp_sadtalker.py如果还需要 3D 人脸可视化--face3dvisREADME 提示 3D 相关依赖单独放在 requirements3d.txt 中按需安装即可。问题三ModuleNotFoundError: No module named ai官方解法先校验 checkpoint 文件大小FAQ 对该报错的官方答案是检查epoch_20.pth这个 checkpoint 的文件大小是否完整FAQ 引用了两个社区 issue 作为佐证。也就是说这个看似缺 Python 模块的错误官方经验里首先要排除的是模型文件下载不完整导致的安装/加载流程异常。源码中的加载点3DMM 重建网络epoch_20.pth在代码中的消费位置在 src/utils/preprocess.py 的CropAndExtract.__init__中if sadtalker_path[use_safetensor]: checkpoint safetensors.torch.load_file(sadtalker_path[checkpoint]) self.net_recon.load_state_dict(load_x_from_safetensor(checkpoint, face_3drecon)) else: checkpoint torch.load(sadtalker_path[path_of_net_recon_model], map_locationtorch.device(device)) self.net_recon.load_state_dict(checkpoint[net_recon])其中path_of_net_recon_model指向checkpoints/epoch_20.pth旧版布局或指向新版打包权重SadTalker_V0.0.2_256.safetensors/SadTalker_V0.0.2_512.safetensors。选择逻辑在 src/utils/init_path.py只要checkpoints/目录下存在*.safetensors文件就优先走 safetensors 路径并打印using safetensor as default否则回退到旧版 pth 权重并打印 WARNING。从源码结构看该报错也可能来自ai模块本身缺失该模块由aiortc包提供常被 TTS 等语音相关依赖链引入用于实时音视频传输此时补装对应 Python 依赖即可。因此完整的排查顺序是用ls -lh查看checkpoints/epoch_20.pth大小与模型发布页的官方大小比对确认下载完整若使用新版权重确认checkpoints/SadTalker_V0.0.2_256.safetensors或 512 版存在且大小正确——scripts/download_models.sh 中列出的就是这几个文件若文件完整仍报缺模块再转向补装 Python 依赖如 TTS 依赖链。问题四Illegal Hardware ErrorMac M1 系列芯片FAQ 的官方解法是单独重装 dlibpip install dlib原因是 dlib 是编译型 C 扩展M1/M2 等 ARM 芯片上从他人环境拷贝的 wheel 或 pip 缓存里残留的 x86 二进制会直接触发非法指令错误Illegal Hardware Error。而 dlib 恰恰是人脸关键点链路的关键组件requirements.txt 锁定了face_alignment1.3.5其底层依赖 dlib人脸对齐在 src/utils/preprocess.py 中通过self.propress.predictor.extract_keypoint(...)完成关键点提取随后送入 3DMM 重建网络。在 Apple Silicon 上重装 dlib 时让 pip 从源码针对本机架构重新编译即可消除非法硬件指令错误。问题五FileNotFoundError: .../similarity_Lm3D_all.mat报错含义BFM_Fitting 配置文件缺失或目录布局错位FAQ 的官方回答是确认已按 README下载训练好的模型一节完成下载并且文件放在正确位置。这条报错的关键信息在路径本身——checkpoints\BFM_Fitting\similarity_Lm3D_all.mat是旧版目录布局下的期望位置而该路径使用 Windows 风格分隔符说明报错发生在 Windows 环境。当前仓库的路径布局从当前仓库源码看BFM 相关数据目录已经不再指向checkpoints/BFM_Fitting。src/utils/init_path.py 中直接写死sadtalker_paths[dir_of_BFM_fitting] os.path.join(config_dir)其中config_dir是 inference.py 传入的src/config也就是说当前布局下similarity_Lm3D_all.mat应位于 src/config/similarity_Lm3D_all.mat该文件在仓库中已随源码提供。它在 src/utils/preprocess.py 的CropAndExtract.__init__中经load_lm3d加载用于 2D/3D 人脸关键点标准化align_img的对齐基准。因此遇到该报错的处置策略若在旧版本代码上运行--old_version或旧 checkout按 FAQ 提示补全checkpoints/BFM_Fitting/目录若在当前版本运行仍报此错优先执行git pull更新代码并运行 scripts/download_models.sh 完成权重下载——脚本对模型文件使用wget -ncno-clobber不覆盖已存在文件中断后重跑可安全续传检查src/config/下similarity_Lm3D_all.mat、auido2exp.yaml、auido2pose.yaml、facerender.yaml等文件是否完整见 src/config 目录。问题六RuntimeError: unexpected EOF, expected N more bytes. The file might be corrupted.FAQ 对这条报错的定性很明确相关文件不会被自动下载需要手动更新代码并下载 gfpgan 相关文件夹。这条EOF/corrupted报错的典型来源是 gfpgan 增强器加载权重时文件只下载了一半例如带宽中断、网盘转存被截断torch 反序列化到文件尾部就抛 EOF。当前仓库为离线推理提供了gfpgan 离线补丁README 说明生成过程中不会再联网下模型对应 scripts/download_models.sh 中的 4 个权重文件文件目标位置用途alignment_WFLW_4HG.pthgfpgan/weights/facexlib 人脸对齐detection_Resnet50_Final.pthgfpgan/weights/facexlib 人脸检测GFPGANv1.4.pthgfpgan/weights/GFPGAN v1.4 人脸修复主模型parsing_parsenet.pthgfpgan/weights/人脸解析parsenet处置步骤用ls -lh gfpgan/weights/逐个核对 4 个文件大小与模型发布页比对发现明显偏小的即为截断文件删除或重命名损坏文件后重新执行 scripts/download_models.sh或手动重新下载该单项注意该脚本同时会下载主模型mapping_00109/00229-model.pth.tar、SadTalker_V0.0.2_256/512.safetensors一次性保证 src/utils/init_path.py 中引用的checkpoints/SadTalker_V0.0.2_size.safetensors存在。问题七CUDA out of memoryFAQ 给出的官方缓解方案是设置 PyTorch 的显存分配环境变量约束单次最大内存块减少显存碎片# Windows set PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 python inference.py ... # Linux export PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128 python inference.py ...这条建议针对的是显存总量够、但碎片化分配失败的场景PyTorch 缓存分配器默认会把大块空闲显存切分成 128MB 以上的子块来响应不同请求碎片积累后可能出现还有空闲却申请失败。限制max_split_size_mb后分配粒度变小长序列音频越长、帧数越多src/generate_batch.py 中 mel 特征窗口越多推理时的申请模式更可控。结合当前仓库还可以补充两个降低显存占用的可调参数均定义在 inference.py 的参数解析中--size 256人脸渲染分辨率默认 256调大如 512显存占用显著上升--batch_sizefacerender 批大小默认为 2显存紧张时可降到 1。问题八音频解码报错Invalid data found when processing input [mp3float ...] Header missingFAQ 的官方结论SadTalker 驱动音频只支持 wav 或 mp3 两种格式。这条Error while decoding stream报错来自 ffmpeg/解码器层面对输入流的解析失败——常见于容器封装不规范如把非标准封装的 mp3 直接改名、编码损坏或传入 flac/ogg/m4a 等不受支持的格式。从源码看音频的进入路径是src/generate_batch.py 的get_data中audio.load_wav(audio_path, 16000)经 librosa 重采样到 16kHz随后由 src/utils/audio.py 的melspectrogram计算 80 维 mel 频谱再按 25fps、syncnet_mel_step_size16的窗口切分成逐帧特征[T, 80, 16]。因此最稳妥的做法是先用 ffmpeg 把驱动音频统一转成 16kHz wav 再喂给推理ffmpeg -i input.mp3 -ar 16000 -ac 1 output.wav python inference.py --driven_audio output.wav \ --source_image video.mp4 or picture.png \ --enhancer gfpgan仓库自带的示例音频在 examples/driven_audio如bus_chinese.wav可作为格式与采样率的参照样本。排障通用原则先验文件再看环境最后调资源综合 FAQ 文档 的八个问题SadTalker 的部署故障存在清晰的优先级模式先验模型资产完整性。FAQ 中 8 条问题有 3 条No module named ai、unexpected EOF、similarity_Lm3D_all.mat缺失本质都是文件没下完整/没放对位置。统一动作是核对 scripts/download_models.sh 列出的全部文件checkpoints/下 5 个主模型 gfpgan/weights/下 4 个增强权重的个数与大小必要时重跑该脚本续传。再看系统环境。ffmpeg、dlib、Python 3.8 CUDA 11.3 的 PyTorch 是三个硬性基线Windows 平台还要额外确认 PATH 配置。最后调运行参数。显存不足时先用PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128再考虑调小--size与--batch_size。按此顺序排查绝大多数 FAQ 覆盖的报错都能在不动源码的前提下定位到根因每条结论对应的代码位置src/utils/init_path.py、src/utils/preprocess.py、src/utils/videoio.py、src/generate_batch.py可直接作为二次验证的切入点。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
