先说一个很多人都会遇到的场景手里有一张干净的线稿想快速得到配色合理的成品图。传统做法是叫美术去手绘或者设计同学用 PS 吸色慢慢填如果线稿数量很大比如做漫画批量上色、老照片修复、电商白底图转插画人工成本就非常可观。过去几年学术界和工业界提出了不少基于深度学习的方法从早期基于 GAN 的端到端上色到后来引入分类标签、参考图、涂鸦、文本描述作为条件输入效果一直在进步。但这些方法往往各管一摊基于参考图的模型很难再用文本去微调语义支持涂鸦的模型又不擅长处理色卡。今天想聊的 OmniColor本质上是在这个方向上做了一次“统一”尝试把多种上色条件放进同一个框架里处理。本文会围绕线稿上色的背景、多模态统一的思路、环境搭建、核心模块拆解和实战 Demo 展开尽量把每个环节讲透。在动手写代码之前我们先把这个领域的基础概念和技术脉络理清楚。很多人第一次接触“线稿上色”时会把“给灰度图着色”和“给线稿涂色”混为一谈这两类任务在实际建模上有明显区别灰度图已经保留了明暗和体积信息模型要做的是恢复色彩线稿则只有边缘和结构需要模型同时想象明暗、材质和配色难度要高一个等级。1. 线稿上色到底是什么1.1 从绘画流程说起在传统数字绘画流程里一位插画师完成一张成品图通常要经历草图、线稿、铺大色、细分光影、叠材质、调色这六个阶段。线稿上色对应的就是第三、第四阶段即给一张只有黑色线条的白底图填充颜色。对于人类画师来说线稿上色依赖的是长期训练出来的“视觉先验”知道天空是蓝的、草地是绿的、人物的皮肤在高光下会偏暖。这种先验本质上来自对大量真实图像的统计分析。而深度学习模型要做的就是用网络参数去拟合这种先验。1.2 线稿上色的典型应用场景线稿上色算法在现实中的需求非常广泛我接触过的项目里至少有这几类应用类型具体需求技术挑战漫画/条漫批量上色给黑白漫画自动填充颜色人物、物体类别多且不同角色需要有稳定配色插画辅助创作输出多种配色方案供画师选择需要可控性能通过文本或参考图调整风格老照片/历史影像修复给早年黑白照片恢复色彩需要符合时代特征的语义理解电商设计稿加速快速生成商品图配色的多个草稿对色彩准确性要求高颜色不能溢出游戏概念设计快速验证角色配色方向需要支持多视角统一如果只用一句话总结 OmniColor 这类统一框架的价值那就是同一个模型不再区分用户用的是文本提示、参考图、涂鸦还是色卡而是把这些条件全部映射到统一的语义空间里去指导上色。2. 为什么需要“多模态统一”的框架2.1 现有上色方法的三条技术路线先回顾一下深度学习上色领域的三条主要路线理解它们各自的优势和边界才能明白“统一”到底统一了什么。第一条路线自动上色无外部条件代表工作是 2016 年前后基于超列特征Hypercolumn的模型以及后来基于 U-Net 和 CNN 的一系列改进。这类模型只接收灰度图或线稿输入输出结果完全由模型内部学习到的颜色先验决定。优点是推理时只需要一张图缺点也很明显你无法控制输出配色的倾向。比如输入一张“衣服”区域模型可能默认输出蓝色但你实际想要红色。第二条路线参考图上色Reference-based用另一张真实图像作为颜色参考模型把参考图的配色风格迁移到目标线稿上。这个方向的代表性工作包括基于图像检索的技术以及后来引入注意力机制实现“局部色彩迁移”的模型。优点是比较适合风格迁移场景缺点是如果参考图内容和目标线稿差距过大颜色迁移结果会非常奇怪。第三条路线多条件引导上色Condition-guided把文本描述、涂鸦、色块、深度图等作为条件输入。典型的做法是用 CLIP 文本编码器提取语义向量再通过交叉注意力注入生成网络。还有一类工作支持用户在线稿上画几笔颜色模型根据这些“色彩提示”扩散传播到整个区域。这类方法控制性最好但早期的模型往往只支持单一条件模态换一种条件输入方式就需要重新训练一个模型。2.2 “统一”的三个层次OmniColor 提出的“统一多模态”从工程视角看其实包含三个层次第一层是统一输入表示。不管输入的是文本、参考图、涂鸦还是色卡都被编码成一个具有一定维度的向量序列也就是特征序列从而让后续的融合模块可以不区分模态来源。第二层是统一任务框架。上色任务不再细分为“文本引导上色模型”“参考图上色模型”“涂鸦上色模型”而是同一个模型通过调整条件嵌入来控制行为模式。第三层是统一训练流程。多模态数据可以混合在一起训练文本描述、参考图和线稿样本不再需要严格配对这大大降低了数据准备成本。2.3 普通开发者应该关注什么如果你是算法工程师或学生关注点自然在方法创新和实验效果上但如果你只是想在业务里快速落地一个上色功能其实更值得关注的是框架的统一性带来的维护成本下降——同一个推理服务、同一套权重可以通过不同条件输入适配多个业务场景。3. 环境准备与数据组织无论你是想复现 OmniColor还是想基于类似思路搭建自己的多模态上色框架环境准备这一步都绕不开。下面的环境说明以常见深度学习配置为例具体版本需要根据你本机的 CUDA 环境调整。3.1 推荐环境清单依赖项推荐方案说明操作系统Ubuntu 20.04/22.04Windows 10/11 也可训练建议 Linux推理可跨平台Python3.8 - 3.10兼容 PyTorch 主流版本CUDA11.7 或 12.x取决于显卡驱动和 PyTorch 版本PyTorch2.0 或更高本文示例用 2.x深度学习框架PyTorch Lightning可选简化训练逻辑多模态编码器CLIP 或 SigLIP用来验证文本/图像统一特征空间加速卡单张 24GB 显存起步显存不够可以用 DeepSpeed Stage 2 或梯度累积3.2 Anaconda 环境配置# 创建虚拟环境 conda create -n omnicolor python3.10 -y conda activate omnicolor # 安装 PyTorch以 CUDA 12.1 为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 安装图像处理和训练相关库 pip install opencv-python pillow numpy tqdm tensorboard pip install transformers datasets pip install einops omegaconf如果下载速度比较慢可以换用国内镜像源例如清华或阿里云的 PyPI 镜像。环境装好后建议先验证一下显卡是否可以被 PyTorch 正常调用import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))能够正常输出显卡名称和无报错信息说明环境基本可用。3.3 数据集怎么准备统一多模态上色框架的训练需要四类数据线稿样本可以从真实彩色图像转换得到常用方案是先用 XDoG 算法提取边缘也可以直接用深度学习边缘检测模型。彩色原图作为训练目标Ground Truth。文本描述描述图中主体和场景例如“一位穿红色连衣裙的女孩站在向日葵花田里”。参考图或涂鸦不是必须但有了它们才能训练参考图条件分支。如果你基于 OmniColor 的思路做二次开发建议一开始不要追求数据量而是先准备 1 万到 2 万张配对数据跑通流程再逐步扩量。数据文件列表建议用 JSON 组织每行代表一个样本{ sketch_path: data/sketch/0001.png, color_path: data/color/0001.png, text: a girl in red dress standing in sunflower field, ref_path: data/ref/0001.png }3.4 项目目录结构omnicolor-demo/ ├── configs/ │ └── train.yaml ├── datasets/ │ ├── __init__.py │ └── color_dataset.py ├── models/ │ ├── __init__.py │ ├── encoders.py │ ├── fusion.py │ ├── generator.py │ └── discriminator.py ├── scripts/ │ ├── train.py │ ├── infer.py │ └── prepare_data.py ├── run_train.sh └── requirements.txt4. 核心模块拆解一个统一上色框架是怎么工作的下面我们拆解一个类似 OmniColor 的统一多模态上色框架重点讲模块职责不纠结某个具体网络层的实现细节。理解了这个流程你去看任何一篇论文的模型架构图都会轻松很多。4.1 整体流程整个推理过程可以拆成四步线稿被送到“线稿编码器”提取结构特征。条件输入被送到对应的编码器统一映射成条件特征。文本用 CLIP 文本编码器参考图用 CLIP 图像编码器涂鸦直接用 CNN 编码器。结构特征和条件特征在“多模态融合模块”里做交互生成与线稿空间尺寸匹配的调制参数。生成器通常采用 U-Net 或基于 Diffusion 的解码结构解码出彩色结果。从工程角度看前两步是纯编码过程第三步是关键因为融合方式决定了多种条件的可控程度和鲁棒性。4.2 线稿编码器线稿编码器通常选用 U-Net 的编码器部分也可以直接使用经过预训练的 ResNet 或 Swin Transformer。它的输出是多尺度特征图用于保留空间结构信息。一个比较直观的理解线稿编码器输出的不是单张特征图而是多个尺度的特征金字塔。低层特征保留线条细节高层特征保留整体形状语义。在融合时不同尺度的特征需要分别与条件特征做交互。4.3 条件编码器与统一特征空间文本条件用 CLIP 的文本编码器把句子编码成一个 77×1024CLIP ViT-L/14的向量序列或者直接取全局向量做池化。参考图条件可以用 CLIP 的图像编码器提取 token 序列。涂鸦/色卡条件本质上是小尺寸的彩色图像可以直接用一个轻量 CNN 编码。所谓统一特征空间就是这个框架在训练中会拉近同类语义的文本特征和图像特征之间的距离。这样用户如果说“红色连衣裙”或者给一张红色连衣裙的参考图它们在特征空间里的位置是接近的后续融合模块就能用相同的方式去调制生成过程。4.4 多模态融合模块这一部分是用 Transformer 做特征交互最自然的位置。可以把线稿特征作为 Query把条件特征序列作为 Key 和 Value通过交叉注意力实现“条件信息按空间位置注入”。假设线稿特征经过处理后尺寸是 B×H×W×C我们把空间维度拉平得到 B×N×C其中 NH×W。条件特征序列是 B×M×D。交叉注意力的计算方式如下Q Linear_q(structure_feature) K Linear_k(condition_feature) V Linear_v(condition_feature) output softmax(Q * K^T / sqrt(d)) * V这个过程类似于“线稿的每一个局部区域都在条件特征中寻找自己需要参考的颜色信息”。4.5 生成器与损失函数生成器可以采用 U-Net 结构在解码器部分把融合后的特征作为额外输入。比较新的做法是把所有模块统一到一个扩散模型里通过多次去噪得到更细腻的上色结果。这类框架在训练时通常会组合多个损失函数像素重建损失L1 Loss约束生成图和原图的像素级接近。感知损失Perceptual Loss用预训练 VGG 提取高层特征计算特征图之间的 L2 距离让输出在语义层面更接近原图。对抗损失让生成结果更真实。颜色损失在 LAB 空间计算色度分量误差缓解灰度化情况。5. 实战搭建一个简化版的多模态上色流程网上很多人想找 OmniColor 的官方开源代码直接复现但论文项目往往需要较长时间才会放出完整训练代码和权重。这里我给出一套基于公开组件的简化实现思路方便你理解核心流程后续等论文代码开源后能快速迁移。5.1 预训练模型选择为了降低训练难度我们不需要从头训练 CLIP 编码器。使用开源的openai/clip-vit-base-patch32作为文本和图像编码器并冻结其参数只训练融合模块和生成器。# 文件路径models/encoders.py import torch import torch.nn as nn from transformers import CLIPModel, CLIPProcessor class CLIPEncoder(nn.Module): def __init__(self, model_nameopenai/clip-vit-base-patch32): super().__init__() self.clip CLIPModel.from_pretrained(model_name) self.processor CLIPProcessor.from_pretrained(model_name) # 冻结 CLIP 参数 for param in self.clip.parameters(): param.requires_grad False def encode_text(self, texts): inputs self.processor(texttexts, return_tensorspt, paddingTrue) inputs {k: v.to(self.clip.device) for k, v in inputs.items()} return self.clip.get_text_features(**inputs) def encode_image(self, images): inputs self.processor(imagesimages, return_tensorspt) inputs {k: v.to(self.clip.device) for k, v in inputs.items()} return self.clip.get_image_features(**inputs)5.2 数据加载器数据加载器需要同时返回线稿、原图、文本三个字段# 文件路径datasets/color_dataset.py import json import torch from torch.utils.data import Dataset from PIL import Image from torchvision import transforms class ColorDataset(Dataset): def __init__(self, json_path, img_size256): self.items [json.loads(line) for line in open(json_path, encodingutf-8)] self.img_size img_size self.transform transforms.Compose([ transforms.Resize((img_size, img_size)), transforms.ToTensor(), transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5]) ]) def __len__(self): return len(self.items) def __getitem__(self, idx): item self.items[idx] sketch Image.open(item[sketch_path]).convert(RGB) color Image.open(item[color_path]).convert(RGB) text item.get(text, ) sketch self.transform(sketch) color self.transform(color) return { sketch: sketch, color: color, text: text }5.3 生成器与交叉注意力融合为了让大家能复制运行这里写一个轻量级生成器示例。它采用编码器-解码器结构中间用交叉注意力实现文本特征注入。# 文件路径models/generator.py import torch import torch.nn as nn import torch.nn.functional as F class CrossAttention(nn.Module): def __init__(self, dim, cond_dim): super().__init__() self.q nn.Linear(dim, dim) self.k nn.Linear(cond_dim, dim) self.v nn.Linear(cond_dim, dim) self.out nn.Linear(dim, dim) self.scale dim ** -0.5 def forward(self, x, cond): # x: B, N, C # cond: B, M, C Q self.q(x) K self.k(cond) V self.v(cond) attn torch.softmax(Q K.transpose(-2, -1) * self.scale, dim-1) out attn V return self.out(out) class SimpleGenerator(nn.Module): def __init__(self, dim256, cond_dim512): super().__init__() self.encoder nn.Sequential( nn.Conv2d(3, 64, 3, stride2, padding1), # 128 nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, 3, stride2, padding1), # 64 nn.ReLU(inplaceTrue), nn.Conv2d(128, dim, 3, stride2, padding1), # 32 nn.ReLU(inplaceTrue), ) self.cross_attn CrossAttention(dim, cond_dim) self.decoder nn.Sequential( nn.ConvTranspose2d(dim, 128, 4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(128, 64, 4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(64, 3, 4, stride2, padding1), nn.Tanh() ) def forward(self, sketch, text_feat): # sketch: B, 3, H, W # text_feat: B, 512 enc self.encoder(sketch) # B, dim, 32, 32 B, C, H, W enc.shape enc_flat enc.flatten(2).transpose(1, 2) # B, N, C text_feat text_feat.unsqueeze(1) # B, 1, C fused self.cross_attn(enc_flat, text_feat) # B, N, C fused fused.transpose(1, 2).reshape(B, C, H, W) out self.decoder(fused) return out这段代码的作用是把文本特征作为条件通过交叉注意力调节编码器输出的每个位置的特征。代码本身可以跑通但如果你想让效果更好建议把编码器换成 U-Net 并加入多尺度特征融合。5.4 训练脚本训练流程和普通图像生成模型差异不大# 文件路径scripts/train.py import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision.utils import save_image from datasets.color_dataset import ColorDataset from models.encoders import CLIPEncoder from models.generator import SimpleGenerator device cuda if torch.cuda.is_available() else cpu clip_enc CLIPEncoder().to(device) generator SimpleGenerator().to(device) dataset ColorDataset(data/train.json, img_size256) dataloader DataLoader(dataset, batch_size8, shuffleTrue, num_workers4) optimizer torch.optim.Adam(generator.parameters(), lr1e-4) l1_loss nn.L1Loss() for epoch in range(20): total_loss 0.0 for batch in dataloader: sketch batch[sketch].to(device) color batch[color].to(device) text batch[text] with torch.no_grad(): text_feat clip_enc.encode_text(text) pred generator(sketch, text_feat) loss l1_loss(pred, color) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) print(fEpoch {epoch1}, L1 Loss: {avg_loss:.4f}) if (epoch 1) % 5 0: save_image(torch.cat([sketch, pred, color], dim0), foutput/epoch_{epoch1}.png, nrow8, normalizeTrue)5.5 推理脚本推理时只需要线稿和文本# 文件路径scripts/infer.py import torch from PIL import Image from torchvision import transforms from models.encoders import CLIPEncoder from models.generator import SimpleGenerator device cuda if torch.cuda.is_available() else cpu clip_enc CLIPEncoder().to(device) generator SimpleGenerator().to(device) generator.load_state_dict(torch.load(checkpoints/generator.pth, map_locationdevice)) generator.eval() transform transforms.Compose([ transforms.Resize((256, 256)), transforms.ToTensor(), transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5]) ]) sketch Image.open(test_sketch.png).convert(RGB) sketch_tensor transform(sketch).unsqueeze(0).to(device) text anime girl with silver hair and blue eyes with torch.no_grad(): text_feat clip_enc.encode_text([text]) pred generator(sketch_tensor, text_feat) # 保存结果 pred (pred.squeeze(0) * 0.5 0.5).clamp(0, 1) transforms.ToPILImage()(pred.cpu()).save(test_output.png)这个简化 Demo 只能起到“流程演示”作用和论文里的 SOTA 效果还有很大差距。真正要接近 OmniColor 的效果通常需要三个升级方向更大的数据规模、更强的生成骨干例如 Stable Diffusion 的 latent 扩散结构、更复杂的融合策略。6. 常见问题与排查思路在跑通多模态上色框架的过程中我总结了几类比较容易踩坑的问题。这里把现象、原因和解决办法整理成表格方便你快速定位。问题现象常见原因解决思路训练时显存溢出批次大小太大或输入分辨率太高降低 batch size、开启梯度累积、使用混合精度训练生成结果偏灰L1/L2 损失占比过高增加对抗损失或感知损失权重文本条件几乎无效文本编码器被冻结但投影层维度不匹配检查特征维度是否对齐适当增加 Adapter 层线条区域颜色溢出生成器感受野过大忽略线条约束增加线稿特征与生成特征的低层级联多卡训练同步慢模型结构太大梯度同步开销高尝试 DeepSpeed ZeRO Stage 2或者降低梯度同步频率参考图条件无法统一不同条件编码器输出空间不一致在文本/图像特征后加同一个线性投影到统一维度数据集不均衡某些常见配色肤色、天空样本过多按语义标签重采样或加入色彩增强6.1 生成结果出现大面积色块如果发现生成图整体上色正确但局部出现“色块糊成一片”的情况通常是特征分辨率不够。建议把中间特征图分辨率从 32×32 提升到 64×64 或 128×128同时增加跳跃连接Skip Connection让解码器能直接参考线稿细节。6.2 文本提示“指哪打哪”失效很多人在试验阶段喜欢问“为什么我说红色衣服生成出来还是蓝色”。这个问题往往出在条件注入不够强。可以尝试把文本特征通过 FiLMFeature-wise Linear Modulation方式同时注入解码器的多个阶段而不只是在最深层注入一次。FiLM 的核心做法是用条件特征预测一组缩放因子和偏置项gamma Linear(text_feat) beta Linear(text_feat) h gamma * h beta把这种调制应用到不同层能让文本语义更充分地影响生成过程。6.3 训练 Loss 很低但效果不好遇到过类似问题L1 Loss 下降得很漂亮但目视效果很差颜色偏淡。这是因为 L1 损失更偏好“安全的中间值”也就是在颜色空间里选择平均色避免冒险。建议在损失函数中引入颜色直方图损失或饱和度损失并在指标之外增加人工评估环节。7. 最佳实践与工程建议多模态上色框架的落地不只是“训练一个模型”那么简单。从算法岗位到工程岗位从实验环境到生产环境中间还有不少值得总结的经验。7.1 数据是第一优先级我发现多数上色模型效果不佳根因都出在数据上。具体有三点建议第一线稿提取方式要统一。如果用 XDoG 提取线稿所有样本都应该用同一组参数如果混用了 Canny 边缘、XDoG、人工绘制线稿模型会学到不一致的映射关系。第二文本描述的覆盖度要足够。如果数据集中只有“女孩”“风景”这种粗粒度描述模型很难理解“薄纱”“夕阳”“赛博朋克”这类细腻语义。建议至少保证训练数据中有 20% 的样本文本描述包含颜色词和风格词。第三参考图和涂鸦样本不用追求数量但必须保证多样性。大量风格相似的参考图会让模型退化成一个简单的颜色迁移模型失去对语义结构的理解能力。7.2 统一条件编码器的输出维度很多人在自建多模态框架时踩过维度不匹配的坑。文本编码器输出维度通常是 512 或 1024ViT 图像编码器输出维度可能是 768 或 1024如果不加一层投影层直接融合维度对不上。建议在每种条件编码器后面接一个独立的线性投影层将特征统一映射到同一个维度比如 512 维。# 文件路径models/fusion.py import torch.nn as nn class ConditionProjector(nn.Module): def __init__(self, in_dim, out_dim512): super().__init__() self.proj nn.Sequential( nn.Linear(in_dim, out_dim), nn.LayerNorm(out_dim), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.proj(x)这个投影层是参与训练的在训练初期它会让各模态特征在统一空间里“对齐”。7.3 不要忽视“上色可控性”评估论文里常用的 PSNR、SSIM、FID 确实能反映生成质量但它们衡量不了“用户说红色区域模型是否输出了红色”这种可控性。在实际项目里我建议增加两个额外指标一是颜色准确率。人工标注若干测试样本中的关键区域颜色统计模型输出与人工标注的匹配度。二是用户满意度评分。让插画师或设计师对生成结果打分重点看配色是否协调、是否符合文本描述。7.4 推理服务的工程化如果模型要部署成 API 服务建议注意三点第一输入校验。线稿图片必须是白底黑线如果用户上传的是灰度图要先做二值化预处理。第二分辨率适配。模型训练分辨率是 256×256用户上传 4K 线稿时不要直接缩放而是先用检测模型定位主体区域再分块处理。第三条件输入容错。文本可能为空参考图可能不存在服务端要对这些分支做默认值处理。7.5 版权与合规提醒在业务中使用上色模型时还有一个容易被忽略的问题——训练数据的版权。如果使用包含大量受版权保护的角色、插画作品的数据集训练模型商业使用时可能面临法律风险。建议在项目启动阶段就确认数据来源的合法性优先使用原创作品、开源协议明确的数据集或者自行采集合成数据。8. 总结与下一步学习方向这篇文章围绕 ECCV 2026 方向的「OmniColor统一多模态线稿上色框架」展开梳理了线稿上色任务背后的技术脉络拆解了多模态统一框架的核心模块——线稿编码器、条件编码器、特征融合模块和生成器并给出了一个可以本地运行的简化版 PyTorch 实现。如果你认真看完了环境配置、数据准备、模型搭建和训练脚本应该已经具备了自己搭建一个最小多模态上色 Demo 的能力。接下来如果你想继续深入这个方向我的建议是走三步第一步把 Stable Diffusion 的 ControlNet 流程吃透。当前很多可控生成框架都建立在 ControlNet 的 conditioning 机制之上理解它是理解 OmniColor 这类工作的重要前提。第二步仔细读几篇最近的多模态上色相关论文重点关注它们如何处理“多种条件互相冲突”的问题例如文本说“蓝色天空”但参考图是夕阳模型应该听谁的。第三步尝试把框架应用到一个真实业务场景里去。可以选一个最小场景比如“给白底线稿图填充指定品牌色”做一轮数据清洗、模型微调和效果评测这个过程中遇到的问题比看十篇论文更有价值。如果这篇文章对你有帮助建议先收藏备用等 OmniColor 官方代码开源后可以对照本文思路快速上手。你在复现过程中如果遇到其他问题也欢迎在评论区一起交流。
多模态线稿上色统一框架：原理、条件控制与PyTorch实践
先说一个很多人都会遇到的场景手里有一张干净的线稿想快速得到配色合理的成品图。传统做法是叫美术去手绘或者设计同学用 PS 吸色慢慢填如果线稿数量很大比如做漫画批量上色、老照片修复、电商白底图转插画人工成本就非常可观。过去几年学术界和工业界提出了不少基于深度学习的方法从早期基于 GAN 的端到端上色到后来引入分类标签、参考图、涂鸦、文本描述作为条件输入效果一直在进步。但这些方法往往各管一摊基于参考图的模型很难再用文本去微调语义支持涂鸦的模型又不擅长处理色卡。今天想聊的 OmniColor本质上是在这个方向上做了一次“统一”尝试把多种上色条件放进同一个框架里处理。本文会围绕线稿上色的背景、多模态统一的思路、环境搭建、核心模块拆解和实战 Demo 展开尽量把每个环节讲透。在动手写代码之前我们先把这个领域的基础概念和技术脉络理清楚。很多人第一次接触“线稿上色”时会把“给灰度图着色”和“给线稿涂色”混为一谈这两类任务在实际建模上有明显区别灰度图已经保留了明暗和体积信息模型要做的是恢复色彩线稿则只有边缘和结构需要模型同时想象明暗、材质和配色难度要高一个等级。1. 线稿上色到底是什么1.1 从绘画流程说起在传统数字绘画流程里一位插画师完成一张成品图通常要经历草图、线稿、铺大色、细分光影、叠材质、调色这六个阶段。线稿上色对应的就是第三、第四阶段即给一张只有黑色线条的白底图填充颜色。对于人类画师来说线稿上色依赖的是长期训练出来的“视觉先验”知道天空是蓝的、草地是绿的、人物的皮肤在高光下会偏暖。这种先验本质上来自对大量真实图像的统计分析。而深度学习模型要做的就是用网络参数去拟合这种先验。1.2 线稿上色的典型应用场景线稿上色算法在现实中的需求非常广泛我接触过的项目里至少有这几类应用类型具体需求技术挑战漫画/条漫批量上色给黑白漫画自动填充颜色人物、物体类别多且不同角色需要有稳定配色插画辅助创作输出多种配色方案供画师选择需要可控性能通过文本或参考图调整风格老照片/历史影像修复给早年黑白照片恢复色彩需要符合时代特征的语义理解电商设计稿加速快速生成商品图配色的多个草稿对色彩准确性要求高颜色不能溢出游戏概念设计快速验证角色配色方向需要支持多视角统一如果只用一句话总结 OmniColor 这类统一框架的价值那就是同一个模型不再区分用户用的是文本提示、参考图、涂鸦还是色卡而是把这些条件全部映射到统一的语义空间里去指导上色。2. 为什么需要“多模态统一”的框架2.1 现有上色方法的三条技术路线先回顾一下深度学习上色领域的三条主要路线理解它们各自的优势和边界才能明白“统一”到底统一了什么。第一条路线自动上色无外部条件代表工作是 2016 年前后基于超列特征Hypercolumn的模型以及后来基于 U-Net 和 CNN 的一系列改进。这类模型只接收灰度图或线稿输入输出结果完全由模型内部学习到的颜色先验决定。优点是推理时只需要一张图缺点也很明显你无法控制输出配色的倾向。比如输入一张“衣服”区域模型可能默认输出蓝色但你实际想要红色。第二条路线参考图上色Reference-based用另一张真实图像作为颜色参考模型把参考图的配色风格迁移到目标线稿上。这个方向的代表性工作包括基于图像检索的技术以及后来引入注意力机制实现“局部色彩迁移”的模型。优点是比较适合风格迁移场景缺点是如果参考图内容和目标线稿差距过大颜色迁移结果会非常奇怪。第三条路线多条件引导上色Condition-guided把文本描述、涂鸦、色块、深度图等作为条件输入。典型的做法是用 CLIP 文本编码器提取语义向量再通过交叉注意力注入生成网络。还有一类工作支持用户在线稿上画几笔颜色模型根据这些“色彩提示”扩散传播到整个区域。这类方法控制性最好但早期的模型往往只支持单一条件模态换一种条件输入方式就需要重新训练一个模型。2.2 “统一”的三个层次OmniColor 提出的“统一多模态”从工程视角看其实包含三个层次第一层是统一输入表示。不管输入的是文本、参考图、涂鸦还是色卡都被编码成一个具有一定维度的向量序列也就是特征序列从而让后续的融合模块可以不区分模态来源。第二层是统一任务框架。上色任务不再细分为“文本引导上色模型”“参考图上色模型”“涂鸦上色模型”而是同一个模型通过调整条件嵌入来控制行为模式。第三层是统一训练流程。多模态数据可以混合在一起训练文本描述、参考图和线稿样本不再需要严格配对这大大降低了数据准备成本。2.3 普通开发者应该关注什么如果你是算法工程师或学生关注点自然在方法创新和实验效果上但如果你只是想在业务里快速落地一个上色功能其实更值得关注的是框架的统一性带来的维护成本下降——同一个推理服务、同一套权重可以通过不同条件输入适配多个业务场景。3. 环境准备与数据组织无论你是想复现 OmniColor还是想基于类似思路搭建自己的多模态上色框架环境准备这一步都绕不开。下面的环境说明以常见深度学习配置为例具体版本需要根据你本机的 CUDA 环境调整。3.1 推荐环境清单依赖项推荐方案说明操作系统Ubuntu 20.04/22.04Windows 10/11 也可训练建议 Linux推理可跨平台Python3.8 - 3.10兼容 PyTorch 主流版本CUDA11.7 或 12.x取决于显卡驱动和 PyTorch 版本PyTorch2.0 或更高本文示例用 2.x深度学习框架PyTorch Lightning可选简化训练逻辑多模态编码器CLIP 或 SigLIP用来验证文本/图像统一特征空间加速卡单张 24GB 显存起步显存不够可以用 DeepSpeed Stage 2 或梯度累积3.2 Anaconda 环境配置# 创建虚拟环境 conda create -n omnicolor python3.10 -y conda activate omnicolor # 安装 PyTorch以 CUDA 12.1 为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 安装图像处理和训练相关库 pip install opencv-python pillow numpy tqdm tensorboard pip install transformers datasets pip install einops omegaconf如果下载速度比较慢可以换用国内镜像源例如清华或阿里云的 PyPI 镜像。环境装好后建议先验证一下显卡是否可以被 PyTorch 正常调用import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))能够正常输出显卡名称和无报错信息说明环境基本可用。3.3 数据集怎么准备统一多模态上色框架的训练需要四类数据线稿样本可以从真实彩色图像转换得到常用方案是先用 XDoG 算法提取边缘也可以直接用深度学习边缘检测模型。彩色原图作为训练目标Ground Truth。文本描述描述图中主体和场景例如“一位穿红色连衣裙的女孩站在向日葵花田里”。参考图或涂鸦不是必须但有了它们才能训练参考图条件分支。如果你基于 OmniColor 的思路做二次开发建议一开始不要追求数据量而是先准备 1 万到 2 万张配对数据跑通流程再逐步扩量。数据文件列表建议用 JSON 组织每行代表一个样本{ sketch_path: data/sketch/0001.png, color_path: data/color/0001.png, text: a girl in red dress standing in sunflower field, ref_path: data/ref/0001.png }3.4 项目目录结构omnicolor-demo/ ├── configs/ │ └── train.yaml ├── datasets/ │ ├── __init__.py │ └── color_dataset.py ├── models/ │ ├── __init__.py │ ├── encoders.py │ ├── fusion.py │ ├── generator.py │ └── discriminator.py ├── scripts/ │ ├── train.py │ ├── infer.py │ └── prepare_data.py ├── run_train.sh └── requirements.txt4. 核心模块拆解一个统一上色框架是怎么工作的下面我们拆解一个类似 OmniColor 的统一多模态上色框架重点讲模块职责不纠结某个具体网络层的实现细节。理解了这个流程你去看任何一篇论文的模型架构图都会轻松很多。4.1 整体流程整个推理过程可以拆成四步线稿被送到“线稿编码器”提取结构特征。条件输入被送到对应的编码器统一映射成条件特征。文本用 CLIP 文本编码器参考图用 CLIP 图像编码器涂鸦直接用 CNN 编码器。结构特征和条件特征在“多模态融合模块”里做交互生成与线稿空间尺寸匹配的调制参数。生成器通常采用 U-Net 或基于 Diffusion 的解码结构解码出彩色结果。从工程角度看前两步是纯编码过程第三步是关键因为融合方式决定了多种条件的可控程度和鲁棒性。4.2 线稿编码器线稿编码器通常选用 U-Net 的编码器部分也可以直接使用经过预训练的 ResNet 或 Swin Transformer。它的输出是多尺度特征图用于保留空间结构信息。一个比较直观的理解线稿编码器输出的不是单张特征图而是多个尺度的特征金字塔。低层特征保留线条细节高层特征保留整体形状语义。在融合时不同尺度的特征需要分别与条件特征做交互。4.3 条件编码器与统一特征空间文本条件用 CLIP 的文本编码器把句子编码成一个 77×1024CLIP ViT-L/14的向量序列或者直接取全局向量做池化。参考图条件可以用 CLIP 的图像编码器提取 token 序列。涂鸦/色卡条件本质上是小尺寸的彩色图像可以直接用一个轻量 CNN 编码。所谓统一特征空间就是这个框架在训练中会拉近同类语义的文本特征和图像特征之间的距离。这样用户如果说“红色连衣裙”或者给一张红色连衣裙的参考图它们在特征空间里的位置是接近的后续融合模块就能用相同的方式去调制生成过程。4.4 多模态融合模块这一部分是用 Transformer 做特征交互最自然的位置。可以把线稿特征作为 Query把条件特征序列作为 Key 和 Value通过交叉注意力实现“条件信息按空间位置注入”。假设线稿特征经过处理后尺寸是 B×H×W×C我们把空间维度拉平得到 B×N×C其中 NH×W。条件特征序列是 B×M×D。交叉注意力的计算方式如下Q Linear_q(structure_feature) K Linear_k(condition_feature) V Linear_v(condition_feature) output softmax(Q * K^T / sqrt(d)) * V这个过程类似于“线稿的每一个局部区域都在条件特征中寻找自己需要参考的颜色信息”。4.5 生成器与损失函数生成器可以采用 U-Net 结构在解码器部分把融合后的特征作为额外输入。比较新的做法是把所有模块统一到一个扩散模型里通过多次去噪得到更细腻的上色结果。这类框架在训练时通常会组合多个损失函数像素重建损失L1 Loss约束生成图和原图的像素级接近。感知损失Perceptual Loss用预训练 VGG 提取高层特征计算特征图之间的 L2 距离让输出在语义层面更接近原图。对抗损失让生成结果更真实。颜色损失在 LAB 空间计算色度分量误差缓解灰度化情况。5. 实战搭建一个简化版的多模态上色流程网上很多人想找 OmniColor 的官方开源代码直接复现但论文项目往往需要较长时间才会放出完整训练代码和权重。这里我给出一套基于公开组件的简化实现思路方便你理解核心流程后续等论文代码开源后能快速迁移。5.1 预训练模型选择为了降低训练难度我们不需要从头训练 CLIP 编码器。使用开源的openai/clip-vit-base-patch32作为文本和图像编码器并冻结其参数只训练融合模块和生成器。# 文件路径models/encoders.py import torch import torch.nn as nn from transformers import CLIPModel, CLIPProcessor class CLIPEncoder(nn.Module): def __init__(self, model_nameopenai/clip-vit-base-patch32): super().__init__() self.clip CLIPModel.from_pretrained(model_name) self.processor CLIPProcessor.from_pretrained(model_name) # 冻结 CLIP 参数 for param in self.clip.parameters(): param.requires_grad False def encode_text(self, texts): inputs self.processor(texttexts, return_tensorspt, paddingTrue) inputs {k: v.to(self.clip.device) for k, v in inputs.items()} return self.clip.get_text_features(**inputs) def encode_image(self, images): inputs self.processor(imagesimages, return_tensorspt) inputs {k: v.to(self.clip.device) for k, v in inputs.items()} return self.clip.get_image_features(**inputs)5.2 数据加载器数据加载器需要同时返回线稿、原图、文本三个字段# 文件路径datasets/color_dataset.py import json import torch from torch.utils.data import Dataset from PIL import Image from torchvision import transforms class ColorDataset(Dataset): def __init__(self, json_path, img_size256): self.items [json.loads(line) for line in open(json_path, encodingutf-8)] self.img_size img_size self.transform transforms.Compose([ transforms.Resize((img_size, img_size)), transforms.ToTensor(), transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5]) ]) def __len__(self): return len(self.items) def __getitem__(self, idx): item self.items[idx] sketch Image.open(item[sketch_path]).convert(RGB) color Image.open(item[color_path]).convert(RGB) text item.get(text, ) sketch self.transform(sketch) color self.transform(color) return { sketch: sketch, color: color, text: text }5.3 生成器与交叉注意力融合为了让大家能复制运行这里写一个轻量级生成器示例。它采用编码器-解码器结构中间用交叉注意力实现文本特征注入。# 文件路径models/generator.py import torch import torch.nn as nn import torch.nn.functional as F class CrossAttention(nn.Module): def __init__(self, dim, cond_dim): super().__init__() self.q nn.Linear(dim, dim) self.k nn.Linear(cond_dim, dim) self.v nn.Linear(cond_dim, dim) self.out nn.Linear(dim, dim) self.scale dim ** -0.5 def forward(self, x, cond): # x: B, N, C # cond: B, M, C Q self.q(x) K self.k(cond) V self.v(cond) attn torch.softmax(Q K.transpose(-2, -1) * self.scale, dim-1) out attn V return self.out(out) class SimpleGenerator(nn.Module): def __init__(self, dim256, cond_dim512): super().__init__() self.encoder nn.Sequential( nn.Conv2d(3, 64, 3, stride2, padding1), # 128 nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, 3, stride2, padding1), # 64 nn.ReLU(inplaceTrue), nn.Conv2d(128, dim, 3, stride2, padding1), # 32 nn.ReLU(inplaceTrue), ) self.cross_attn CrossAttention(dim, cond_dim) self.decoder nn.Sequential( nn.ConvTranspose2d(dim, 128, 4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(128, 64, 4, stride2, padding1), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(64, 3, 4, stride2, padding1), nn.Tanh() ) def forward(self, sketch, text_feat): # sketch: B, 3, H, W # text_feat: B, 512 enc self.encoder(sketch) # B, dim, 32, 32 B, C, H, W enc.shape enc_flat enc.flatten(2).transpose(1, 2) # B, N, C text_feat text_feat.unsqueeze(1) # B, 1, C fused self.cross_attn(enc_flat, text_feat) # B, N, C fused fused.transpose(1, 2).reshape(B, C, H, W) out self.decoder(fused) return out这段代码的作用是把文本特征作为条件通过交叉注意力调节编码器输出的每个位置的特征。代码本身可以跑通但如果你想让效果更好建议把编码器换成 U-Net 并加入多尺度特征融合。5.4 训练脚本训练流程和普通图像生成模型差异不大# 文件路径scripts/train.py import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision.utils import save_image from datasets.color_dataset import ColorDataset from models.encoders import CLIPEncoder from models.generator import SimpleGenerator device cuda if torch.cuda.is_available() else cpu clip_enc CLIPEncoder().to(device) generator SimpleGenerator().to(device) dataset ColorDataset(data/train.json, img_size256) dataloader DataLoader(dataset, batch_size8, shuffleTrue, num_workers4) optimizer torch.optim.Adam(generator.parameters(), lr1e-4) l1_loss nn.L1Loss() for epoch in range(20): total_loss 0.0 for batch in dataloader: sketch batch[sketch].to(device) color batch[color].to(device) text batch[text] with torch.no_grad(): text_feat clip_enc.encode_text(text) pred generator(sketch, text_feat) loss l1_loss(pred, color) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) print(fEpoch {epoch1}, L1 Loss: {avg_loss:.4f}) if (epoch 1) % 5 0: save_image(torch.cat([sketch, pred, color], dim0), foutput/epoch_{epoch1}.png, nrow8, normalizeTrue)5.5 推理脚本推理时只需要线稿和文本# 文件路径scripts/infer.py import torch from PIL import Image from torchvision import transforms from models.encoders import CLIPEncoder from models.generator import SimpleGenerator device cuda if torch.cuda.is_available() else cpu clip_enc CLIPEncoder().to(device) generator SimpleGenerator().to(device) generator.load_state_dict(torch.load(checkpoints/generator.pth, map_locationdevice)) generator.eval() transform transforms.Compose([ transforms.Resize((256, 256)), transforms.ToTensor(), transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5]) ]) sketch Image.open(test_sketch.png).convert(RGB) sketch_tensor transform(sketch).unsqueeze(0).to(device) text anime girl with silver hair and blue eyes with torch.no_grad(): text_feat clip_enc.encode_text([text]) pred generator(sketch_tensor, text_feat) # 保存结果 pred (pred.squeeze(0) * 0.5 0.5).clamp(0, 1) transforms.ToPILImage()(pred.cpu()).save(test_output.png)这个简化 Demo 只能起到“流程演示”作用和论文里的 SOTA 效果还有很大差距。真正要接近 OmniColor 的效果通常需要三个升级方向更大的数据规模、更强的生成骨干例如 Stable Diffusion 的 latent 扩散结构、更复杂的融合策略。6. 常见问题与排查思路在跑通多模态上色框架的过程中我总结了几类比较容易踩坑的问题。这里把现象、原因和解决办法整理成表格方便你快速定位。问题现象常见原因解决思路训练时显存溢出批次大小太大或输入分辨率太高降低 batch size、开启梯度累积、使用混合精度训练生成结果偏灰L1/L2 损失占比过高增加对抗损失或感知损失权重文本条件几乎无效文本编码器被冻结但投影层维度不匹配检查特征维度是否对齐适当增加 Adapter 层线条区域颜色溢出生成器感受野过大忽略线条约束增加线稿特征与生成特征的低层级联多卡训练同步慢模型结构太大梯度同步开销高尝试 DeepSpeed ZeRO Stage 2或者降低梯度同步频率参考图条件无法统一不同条件编码器输出空间不一致在文本/图像特征后加同一个线性投影到统一维度数据集不均衡某些常见配色肤色、天空样本过多按语义标签重采样或加入色彩增强6.1 生成结果出现大面积色块如果发现生成图整体上色正确但局部出现“色块糊成一片”的情况通常是特征分辨率不够。建议把中间特征图分辨率从 32×32 提升到 64×64 或 128×128同时增加跳跃连接Skip Connection让解码器能直接参考线稿细节。6.2 文本提示“指哪打哪”失效很多人在试验阶段喜欢问“为什么我说红色衣服生成出来还是蓝色”。这个问题往往出在条件注入不够强。可以尝试把文本特征通过 FiLMFeature-wise Linear Modulation方式同时注入解码器的多个阶段而不只是在最深层注入一次。FiLM 的核心做法是用条件特征预测一组缩放因子和偏置项gamma Linear(text_feat) beta Linear(text_feat) h gamma * h beta把这种调制应用到不同层能让文本语义更充分地影响生成过程。6.3 训练 Loss 很低但效果不好遇到过类似问题L1 Loss 下降得很漂亮但目视效果很差颜色偏淡。这是因为 L1 损失更偏好“安全的中间值”也就是在颜色空间里选择平均色避免冒险。建议在损失函数中引入颜色直方图损失或饱和度损失并在指标之外增加人工评估环节。7. 最佳实践与工程建议多模态上色框架的落地不只是“训练一个模型”那么简单。从算法岗位到工程岗位从实验环境到生产环境中间还有不少值得总结的经验。7.1 数据是第一优先级我发现多数上色模型效果不佳根因都出在数据上。具体有三点建议第一线稿提取方式要统一。如果用 XDoG 提取线稿所有样本都应该用同一组参数如果混用了 Canny 边缘、XDoG、人工绘制线稿模型会学到不一致的映射关系。第二文本描述的覆盖度要足够。如果数据集中只有“女孩”“风景”这种粗粒度描述模型很难理解“薄纱”“夕阳”“赛博朋克”这类细腻语义。建议至少保证训练数据中有 20% 的样本文本描述包含颜色词和风格词。第三参考图和涂鸦样本不用追求数量但必须保证多样性。大量风格相似的参考图会让模型退化成一个简单的颜色迁移模型失去对语义结构的理解能力。7.2 统一条件编码器的输出维度很多人在自建多模态框架时踩过维度不匹配的坑。文本编码器输出维度通常是 512 或 1024ViT 图像编码器输出维度可能是 768 或 1024如果不加一层投影层直接融合维度对不上。建议在每种条件编码器后面接一个独立的线性投影层将特征统一映射到同一个维度比如 512 维。# 文件路径models/fusion.py import torch.nn as nn class ConditionProjector(nn.Module): def __init__(self, in_dim, out_dim512): super().__init__() self.proj nn.Sequential( nn.Linear(in_dim, out_dim), nn.LayerNorm(out_dim), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.proj(x)这个投影层是参与训练的在训练初期它会让各模态特征在统一空间里“对齐”。7.3 不要忽视“上色可控性”评估论文里常用的 PSNR、SSIM、FID 确实能反映生成质量但它们衡量不了“用户说红色区域模型是否输出了红色”这种可控性。在实际项目里我建议增加两个额外指标一是颜色准确率。人工标注若干测试样本中的关键区域颜色统计模型输出与人工标注的匹配度。二是用户满意度评分。让插画师或设计师对生成结果打分重点看配色是否协调、是否符合文本描述。7.4 推理服务的工程化如果模型要部署成 API 服务建议注意三点第一输入校验。线稿图片必须是白底黑线如果用户上传的是灰度图要先做二值化预处理。第二分辨率适配。模型训练分辨率是 256×256用户上传 4K 线稿时不要直接缩放而是先用检测模型定位主体区域再分块处理。第三条件输入容错。文本可能为空参考图可能不存在服务端要对这些分支做默认值处理。7.5 版权与合规提醒在业务中使用上色模型时还有一个容易被忽略的问题——训练数据的版权。如果使用包含大量受版权保护的角色、插画作品的数据集训练模型商业使用时可能面临法律风险。建议在项目启动阶段就确认数据来源的合法性优先使用原创作品、开源协议明确的数据集或者自行采集合成数据。8. 总结与下一步学习方向这篇文章围绕 ECCV 2026 方向的「OmniColor统一多模态线稿上色框架」展开梳理了线稿上色任务背后的技术脉络拆解了多模态统一框架的核心模块——线稿编码器、条件编码器、特征融合模块和生成器并给出了一个可以本地运行的简化版 PyTorch 实现。如果你认真看完了环境配置、数据准备、模型搭建和训练脚本应该已经具备了自己搭建一个最小多模态上色 Demo 的能力。接下来如果你想继续深入这个方向我的建议是走三步第一步把 Stable Diffusion 的 ControlNet 流程吃透。当前很多可控生成框架都建立在 ControlNet 的 conditioning 机制之上理解它是理解 OmniColor 这类工作的重要前提。第二步仔细读几篇最近的多模态上色相关论文重点关注它们如何处理“多种条件互相冲突”的问题例如文本说“蓝色天空”但参考图是夕阳模型应该听谁的。第三步尝试把框架应用到一个真实业务场景里去。可以选一个最小场景比如“给白底线稿图填充指定品牌色”做一轮数据清洗、模型微调和效果评测这个过程中遇到的问题比看十篇论文更有价值。如果这篇文章对你有帮助建议先收藏备用等 OmniColor 官方代码开源后可以对照本文思路快速上手。你在复现过程中如果遇到其他问题也欢迎在评论区一起交流。
