如何使用Harmonizer：从安装到推理的完整指南

【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer

Harmonizer是一款由NVIDIA开发的单步图像扩散模型，专为神经重建图像和视频渲染打造的在线生成增强器。它能将神经辐射场（NeRF）或3D高斯 splatting（3DGS）重建产生的不完美新视角渲染转换为时间上一致的输出，使其更接近真实捕捉效果，同时纠正动态对象合成到重建场景时出现的照明、阴影和重建伪影问题。

准备工作：环境与依赖

系统要求

• 操作系统：Linux（推荐Ubuntu 20.04或更高版本）
• 硬件：NVIDIA GPU（支持Ampere、Hopper或Blackwell架构，如H100）
• 软件：PyTorch>=2.0.0

安装步骤

1. 克隆仓库

   git clone https://gitcode.com/hf_mirrors/nvidia/Harmonizer cd Harmonizer

2. 安装依赖请确保已安装PyTorch及相关依赖，可参考PyTorch官方安装指南。

模型下载与配置

下载模型 checkpoint

Harmonizer提供两种 checkpoint，适用于不同场景：

• diffusion_harmonizer.pkl：支持时间条件的模型，适合视频风格的新视角模拟
• harmonizer_nontemporal.pt：非时间模式的单帧模型，适合对速度要求较高的场景

使用以下命令下载所有模型 checkpoint 到本地models/目录：

hf download nvidia/Harmonizer --local-dir models

配置文件说明

项目根目录下的 config.json 文件定义了模型组件信息，包含各 checkpoint 的名称、文件路径和作用，方便用户了解和管理模型文件。

两种运行模式：离线与在线

离线模式

在重建阶段使用，清理从重建中渲染的伪训练视图，然后将其提炼回3D。这增强了约束不足的区域并提高了整体3D表示质量。

在线模式

在模拟或推理过程中作为单步神经增强器。它协调颜色和照明，为插入的动态对象重建缺失或不一致的阴影，并消除来自不完美3D监督和当前重建模型容量限制的残留重建伪影。

快速开始：推理教程

非时间模式推理（快速）

使用harmonizer_nontemporal.pt模型进行单图像增强，适合对速度要求较高的场景：

# 示例命令（具体请参考官方代码） python inference.py --model models/harmonizer_nontemporal.pt --input input_image.jpg --output output_image.jpg

在H100上的推理速度：28 ms / 576 × 1024 px 图像

时间模式推理（高质量）

使用diffusion_harmonizer.pkl模型进行视频序列增强，提供更高的时间一致性：

# 示例命令（具体请参考官方代码） python inference.py --model models/diffusion_harmonizer.pkl --input input_sequence/ --output output_sequence/

在H100上的推理速度：212 ms / 576 x 1024 px 图像

若要在时间模式模型上使用非时间快速推理，可添加--nontemporal标志：

python inference.py --model models/diffusion_harmonizer.pkl --nontemporal --input input_image.jpg --output output_image.jpg

性能表现：基准测试结果

在来自NDAS MLMCF和ParkNet训练会话的864张图像上进行了基准测试。PSNR越高越好；LPIPS和FID越低越好。

常见问题与注意事项

输入输出要求

• 输入格式：RGB图像
• 输入分辨率：576 px x 1024 px
• 输出格式：RGB图像
• 输出分辨率：576 px x 1024 px

技术限制

重建质量依赖于输入图像和相机校准的质量和一致性；这些方面的缺陷可能会对最终输出产生负面影响。

风险提示

模型不能保证修复100%的图像伪影。请验证生成的场景是否符合上下文和使用要求。

许可证信息

使用此模型受 NVIDIA Open Model License Agreement 管辖。

参考资料

• DiffusionHarmonizer 论文
• Harmonizer 训练和推理代码
• Harmonizer 数据集

【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer