之前在做开放词汇语义分割的调研和复现时踩了不少坑训练式方案需要大量掩码标注和算力直接上手成本很高而那些号称“零样本”的推理方案在类别语义描述模糊时又经常出现错分比如“人”和“人群”、“车”和“卡车”这种语义边界很模糊的类别结果抖动特别明显。后来读到《Perceptual Anchoring: Prototype-Guided Text Calibration for Training-free Open-Vocabulary Semantic Segmentation》这条工作思路很有启发。它没有走“训练新模块”的路子而是在文本侧做“校准”用图像自身的视觉原型去修正文本嵌入的语义偏移。这套思路非常适合做快速验证和工程落地。本文将围绕这条工作的核心原理展开拆解整体框架、三个关键模块、参考实现思路以及我在阅读和复现过程中的一些理解和排错经验。适合对多模态语义分割、CLIP 零样本应用感兴趣的开发者也适合想在项目中快速接入开放词汇分割能力的同学。1. 研究背景为什么需要开放词汇语义分割1.1 从固定类别到开放词汇传统语义分割模型在训练前需要预先定义一组类别比如“人、车、道路、天空”。训练时模型只会学习这些类别的视觉特征推理时也只能输出这组固定类别。这种模式在类别数量可控、场景相对稳定的任务里效果不错但一旦遇到新类别就必须重新收集数据、标注掩码、重新训练模型整套流程非常重。开放词汇语义分割Open-Vocabulary Semantic Segmentation要解决的问题就是模型在推理时能根据任意文本描述对图像像素进行分类不再受限于训练时的类别集合。比如训练时只见过“car”推理时输入“ambulance”或者“police car”模型也能正确分割出对应区域。这背后依赖的是大规模预训练视觉-语言模型例如 CLIP 系列。CLIP 将图像和文本映射到同一个语义空间通过计算相似度完成图文匹配。如果我们把图像中的区域特征和候选类别文本特征做匹配就有机会在不重新训练模型的情况下完成语义分割。1.2 训练式方案的代价目前很多开放词汇分割方案走的是“训练新模块 冻结 CLIP 主干”的路线。典型做法是设计一个掩码生成器、视觉-文本融合模块或者区域特征聚合网络在标注数据上做二次训练。这种方案的优点是精度通常更高因为新增模块能根据目标任务做针对性优化。不过代价也很明显需要大量掩码级标注数据。训练过程需要较多 GPU 资源。新增模块会引入额外的超参数和训练稳定性问题。如果任务场景变化可能需要重新训练。对于很多中小团队和研究人员来说训练成本成了第一个门槛。如果只做快速验证、Demo 演示或者目标场景类别变化频繁训练式方案不一定是最优解。1.3 Training-free 为什么可行Training-free免训练方案的核心思路是不新增可训练参数直接利用预训练模型已有的视觉-文本对齐能力完成分割。具体来说CLIP 的视觉编码器可以把图像编码成一组 patch token这些 token 保留了空间位置信息。文本编码器则可以把类别描述编码成文本嵌入。将 patch token 与文本嵌入做余弦相似度就能得到一张“像素-类别”的相似度图再通过上采样和后处理得到分割结果。这种方案的优点非常明显不需要标注数据。不需要训练新模块。推理过程清晰可控容易排查问题。可以快速替换类别描述适应开放词汇场景。但 Training-free 方案也有先天弱点CLIP 在预训练时并没有针对“像素级分割”做过优化。patch token 本身是区域级特征直接拿来匹配文本时容易出现语义偏移、边界粗糙、类别混淆等问题。这正是 Perceptual Anchoring 这类改进工作要解决的核心矛盾。2. 现有方案的核心瓶颈2.1 文本-视觉语义空间的错位CLIP 训练时使用的是“图文对”级别的监督信号损失函数要求图像整体特征和文本整体特征尽量对齐。这意味着 CLIP 的嵌入空间是“全局语义”导向的并不天然适合“局部区域-文本”的匹配。举个例子一张图上有一个红色的小轿车和一个蓝色的卡车。文本描述是“a red car”。图像整体特征可能更多反映“户外、街道、车辆”这种全局语义。而蓝色卡车的区域特征在 CLIP 空间里和“car”的相似度可能并不低。于是直接用区域特征去匹配文本嵌入容易出现类别混淆。根本原因在于CLIP 空间里的文本嵌入位置是由全局图文对齐任务决定的而不是由像素级分割任务决定的。2.2 文本自身的歧义与多义除了视觉侧的问题文本侧也有挑战。同一个类别名称在不同上下文、不同模板、不同语料中其语义向量会发生变化。比如“apple”可以指水果也可以指手机品牌。“bank”可以指河岸也可以指银行。“crane”可以指鹤也可以指起重机。即使使用“a photo of a {}”这种模板文本编码器也可能把类别词和训练语料中的高频共现语义绑定在一起。这种多义性会直接传递到相似度计算中导致分割结果不稳定。此外文本模板的选择也会影响结果。不同的模板如“{}”“a {} in the scene”“a photo of a {}”会产生不同的文本嵌入如何选择或组合模板也是 Training-free 方案里很常见的一个问题。2.3 原型引导校准的动机既然问题出在“文本嵌入和当前图像的视觉分布不一致”一个自然想法是用当前图像自身的视觉信息去修正文本嵌入的位置。Perceptual Anchoring 的切入点就在于此。它提出通过提取图像中的“视觉原型”Prototype作为感知锚点再根据锚点对文本嵌入做校准使文本特征更贴近当前图像的视觉分布。这种校准不需要训练新模块而是一个纯推理阶段的计算过程。也就是说它保留了 Training-free 的优点同时从特征分布角度缓解了语义错位带来的问题。这里的直观理解是假设我们要分割“person”类别。直接用 CLIP 文本嵌入去匹配可能只有一部分高置信度区域匹配上。我们从这些高置信度区域统计出视觉原型也就是“当前图像中 person 区域的代表性特征”。用这个视觉原型去校准文本嵌入让“person”的文本特征更贴近当前图像里 person 区域的实际视觉分布。再拿校准后的文本嵌入重新计算相似度分割结果往往更稳定。这个过程就叫“感知锚定”Perceptual Anchoring——用感知层面的原型特征作为锚点把文本特征从“全局通用位置”拉向“当前图像的具体分布位置”。3. Perceptual Anchoring 核心原理拆解3.1 总体框架设计从整体上看Perceptual Anchoring 的工作流程可以拆成以下几步用预训练视觉编码器提取图像 patch token。用文本编码器生成候选类别的文本嵌入。计算 patch token 与文本嵌入的相似度得到初始粗糙分割。根据初始分割提取每个类别的视觉原型。用视觉原型对文本嵌入做校准。用校准后的文本嵌入重新计算相似度得到细化分割结果。整个流程相当于“先粗分割再特征校准再细分割”。关键点在于校准不是直接改图像特征而是改文本特征。这看起来是个小改动但对结果的影响往往是决定性的。为什么改文本特征而不是改图像特征因为图像特征来自固定的 patch token直接修改会破坏 CLIP 空间的结构而文本特征本身是“一个点”校准它的位置更像是在做语义空间的局部回归改动更可控也更符合 CLIP 空间的性质。3.2 视觉原型提取模块视觉原型Prototype是校准过程中的核心参考物。它的定义可以有很多种常见做法是从初始高置信度区域中聚类取聚类中心作为原型。对初始分割中每个类别的 patch token 求平均得到该类别的均值特征。结合注意力图选择与类别语义最相关的区域特征作为原型。在 Training-free 框架下最简单的原型提取方式是第一步计算所有 patch token 与所有文本嵌入的相似度矩阵。 第二步对相似度矩阵做 softmax得到每个 patch 属于每个类别的概率。 第三步按类别统计高置信度的 patch token取均值作为该类别原型。这里的核心超参数有两个置信度阈值低于阈值的 patch token 不参与原型统计避免噪声干扰。原型数量如果使用 K-Means就需要指定每个类别保留几个原型。原型数量对结果的影响很微妙。原型太少统计信息不够充分原型太多又可能被局部噪声带偏。实际使用时可以先从“每类一个均值原型”开始再逐步增加复杂度。3.3 原型引导的文本校准模块拿到视觉原型后下一个问题是如何用原型校准文本嵌入比较直观的方案是线性插值也就是把原始文本嵌入和视觉原型按一定权重融合[ \hat{t}_c \alpha \cdot t_c (1 - \alpha) \cdot p_c ]其中(t_c) 是类别 c 的原始文本嵌入。(p_c) 是类别 c 的视觉原型特征。(\alpha) 是校准强度系数控制文本嵌入保留多少原始语义。校准后进行归一化得到新的文本特征[ \hat{t}_c \frac{\hat{t}_c}{|\hat{t}_c|} ]这里的 (\alpha) 非常关键。太大校准效果不明显太小文本语义会被视觉原型“拉跑”导致类别语义失真。实践中可以通过小规模验证集搜索也可以根据相似度矩阵的熵来动态调整。更复杂的校准方式还包括对原型做加权聚合而不是简单平均。把多个模板的文本嵌入先做集成再用原型校准。根据每个类别的置信度动态决定校准强度。不过从“理解原理”的角度看线性插值已经足够说明问题。工程实现时可以在这个基础上扩展。3.4 锚定融合与分割解码校准完文本嵌入后需要重新计算 patch token 与校准文本嵌入的相似度得到最终的分割结果。这一步通常称为“锚定融合”意思是校准后的文本特征已经携带了当前图像的感知信息因此相似度计算会更贴合实际视觉分布。分割解码有两种常见做法直接对相似度图按通道取最大值得到每个 patch 的类别标签。先对相似度图做温度缩放和 softmax再取概率最大的类别。后者通常更稳定因为 softmax 会抑制低置信度类别的输出减少类别混淆。拿到 patch 级别的类别标签后还需要把低分辨率的 patch 标签上采样到原始图像分辨率。常用的上采样方式有双线性插值。最近邻插值。结合 CRF条件随机场进行边界细化。如果追求快速验证双线性插值加 argmax 就够用了。如果对边界质量要求高可以考虑在最后加一个轻量级后处理。4. 参考实现基于 CLIP 的 Training-free 分割流程4.1 环境与依赖准备本文的示例以 PyTorch 和 HuggingFace Transformers 中的 CLIP 实现为例。版本需要根据你的环境调整但整体流程是一致的。建议环境如下Python 3.9 或以上。PyTorch 2.0 或以上。Transformers 4.x。Pillow。CUDA 可选但推理时建议使用 GPU 加速。安装依赖pip install torch transformers pillow如果你使用 open_clip 或其他 CLIP 实现API 会有差异但核心思路不变只需替换特征提取部分。4.2 图像与文本特征提取首先加载预训练模型。import torch import torch.nn.functional as F from PIL import Image from transformers import CLIPProcessor, CLIPModel # 加载预训练模型 model CLIPModel.from_pretrained(openai/clip-vit-base-patch16) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch16) model.eval()接下来实现文本特征提取。这里支持多个类别和多条模板模板可以通过列表传入。def encode_text(categories, templates): 计算多个类别的文本嵌入 categories: [person, car, dog] templates: [a photo of a {}, a {} in the scene] text_inputs [] for category in categories: for template in templates: text_inputs.append(template.format(category)) inputs processor(texttext_inputs, return_tensorspt, paddingTrue) with torch.no_grad(): text_features model.get_text_features(**inputs) # 对同类别多条模板求平均得到每类一个文本特征 text_features F.normalize(text_features, dim-1) k len(templates) text_features text_features.view(-1, k, text_features.size(-1)).mean(dim1) text_features F.normalize(text_features, dim-1) return text_features注意get_text_features返回的向量需要做 L2 归一化因为后续要计算余弦相似度。模板数量越多文本嵌入越稳定但计算量也会增加。图像特征提取时需要拿到保留空间位置的 patch token。def encode_image_patch_tokens(image): 提取图像 patch token image: PIL.Image输入图像 inputs processor(imagesimage, return_tensorspt) with torch.no_grad(): vision_outputs model.vision_model(**inputs) last_hidden_state vision_outputs.last_hidden_state # [B, num_tokens, D] # 第一个 token 是 [CLS]用于全局表示后面的 token 是 patch 特征 cls_token last_hidden_state[:, 0:1, :] patch_tokens last_hidden_state[:, 1:, :] # 归一化 patch_tokens F.normalize(patch_tokens, dim-1) return patch_tokens, inputs需要说明的是vision_model输出的是 CLIP 视觉编码器的中间特征与get_image_features返回的全局特征不同。这里使用 patch token 是为了保留空间信息用于后续的分割图重建。4.3 基础相似度分割在引入原型校准之前先实现一个基础版本直接把 patch token 和文本嵌入做相似度匹配得到初始分割图。def compute_similarity(patch_tokens, text_features, temperature0.07): patch_tokens: [B, N, D] text_features: [C, D] # 余弦相似度 sim patch_tokens text_features.T # [B, N, C] sim sim / temperature return sim def build_segmentation_map(sim, image_size, patch_size16): 将 patch 级别的相似度图还原为原始尺寸分割图 B, N, C sim.shape h w int(N ** 0.5) # 以 ViT-B/16 为例 seg_map sim.argmax(dim-1) # [B, N] seg_map seg_map.reshape(B, 1, h, w).float() # 上采样到原始图像尺寸 seg_map F.interpolate( seg_map, sizeimage_size, modenearest ) return seg_map这个基础版本的输出已经可以产生分割效果但通常存在两个问题一是类别混淆二是边界粗糙。接下来用原型校准来改善。4.4 原型提取与文本校准原型提取的关键是选择高置信度 patch token。先计算初始相似度再对每个类别单独处理。def extract_prototypes(patch_tokens, text_features, conf_thresh0.3, temperature0.07): 提取每个类别的视觉原型 patch_tokens: [N, D] text_features: [C, D] # 计算相似度和概率 sim patch_tokens text_features.T sim sim / temperature prob F.softmax(sim, dim-1) max_prob, pred prob.max(dim-1) prototypes [] for c in range(text_features.size(0)): # 挑选高置信度 patch mask (pred c) (max_prob conf_thresh) if mask.sum() 5: # 置信度不够时回退到均值 prototype patch_tokens[mask].mean(dim0) if mask.sum() 0 else text_features[c] else: prototype patch_tokens[mask].mean(dim0) prototypes.append(prototype) prototypes torch.stack(prototypes) prototypes F.normalize(prototypes, dim-1) return prototypes然后进行文本校准。def calibrate_text_features(text_features, prototypes, alpha0.6): 原型引导的文本校准 text_features: [C, D] prototypes: [C, D] alpha: 保留原始文本语义的比例 calibrated alpha * text_features (1 - alpha) * prototypes calibrated F.normalize(calibrated, dim-1) return calibrated这里的核心逻辑就是线性插值。alpha越大校准后的特征越接近原始文本嵌入alpha越小越接近视觉原型。实际使用时alpha在 0.5 到 0.8 之间往往效果较好但需要根据数据集调整。4.5 完整推理流程把上面的模块串起来就可以实现完整的 Training-free 开放词汇分割流程。def training_free_segmentation(image_path, categories, templates, alpha0.6): # 1. 读取图像 image Image.open(image_path).convert(RGB) orig_size image.size # (width, height) # 2. 提取文本特征 text_features encode_text(categories, templates) # 3. 提取 patch token patch_tokens, _ encode_image_patch_tokens(image) patch_tokens patch_tokens.squeeze(0) # [N, D] # 4. 初始相似度分割 sim compute_similarity(patch_tokens.unsqueeze(0), text_features) # 5. 提取视觉原型 prototypes extract_prototypes(patch_tokens, text_features) # 6. 文本校准 calibrated_text calibrate_text_features(text_features, prototypes, alphaalpha) # 7. 重新计算相似度 refined_sim compute_similarity(patch_tokens.unsqueeze(0), calibrated_text) # 8. 生成分割图 seg_map build_segmentation_map(refined_sim, orig_size) return seg_map这段代码把整个流程压缩成了一个函数。在实际项目中你可以把它封装成类方便参数调整和批量推理。需要再次说明的是以上代码是理解论文 Pipeline 的示例实现思路不是论文官方代码。不同 CLIP 版本、不同项目结构下接口调用会有所差异跑通后需要根据你的实际环境做适配。5. 实验设计与评估框架5.1 常用数据集与指标开放词汇语义分割领域常用的评估数据集包括PASCAL VOC 201220 类包含 train/val 划分。PASCAL Context更多类别包含背景上下文。COCO Stuff场景类别丰富适合评估开放词汇分割。常用指标是 mIoUmean Intersection over Union它衡量预测分割区域与真实掩码的交并比。mIoU 越高说明分割结果和真实标注越接近。在对比实验时通常需要设置多组基线直接使用 CLIP 文本嵌入的 Baseline。使用不同模板集成的 Baseline。本文讨论的原型引导校准方案。5.2 消融实验设计消融实验的目的是验证各个模块是否真正起作用。建议从以下几个维度展开实验维度控制变量观察目标是否使用原型校准模板数量一致只切换校准开关校准带来的 mIoU 提升原型数量置信度阈值固定原型数量从 1 递增原型数量对结果的影响置信度阈值原型数量一致阈值在 0.1~0.5 之间变化阈值对噪声抑制的作用校准强度 alpha其他变量固定alpha 在 0.2~0.9 之间搜索alpha 的最优区间模板数量模板从 1 条到 16 条递增模板多样性对文本嵌入的影响这种消融表格可以直观地看出每个超参数对最终结果的影响也方便在论文或技术文档中呈现。需要提醒的是具体指标数值受模型、数据集、预处理方式的影响很大。本文不展开具体实验数据重点在于帮你建立一套可以复用的评估框架。5.3 可视化分析除了 mIoU 数值可视化分析同样重要。建议输出以下几类图原始图像。基础 Baseline 的分割结果。原型校准后的分割结果。相似度热力图每个类别单独的置信度分布。原型特征与原始文本特征的可视化对比。通过对比热力图可以明显看出校准后的模型对类别边界的响应更集中对易混淆类别的区分度更高。在实际项目中建议把可视化和指标评估做成一套独立的脚本。这样每次调整超参数后都能快速生成对比图提高调试效率。6. 常见问题与排查思路6.1 边界粗糙、预测呈块状这是 CLIP patch token 分割最常见的问题。由于 patch token 的尺寸通常为 16x16 或 14x14直接上采样到原图必然导致边界锯齿状。排查思路先确认上采样方式是否为 nearest。如果是可以换成双线性插值或 bicubic。检查是否做了任何后处理。CRF 可以有效改善边界。如果 patch 尺寸过大可以尝试使用更小的 patch 配置比如 ViT-B/32 换成 ViT-B/16。6.2 语义相似类别混淆“人”和“人群”、“车”和“卡车”这类视觉特征很接近的类别容易出现混淆。根本原因是 CLIP 空间里这些文本嵌入本身距离就很近。排查思路检查模板是否存在歧义尝试增加更精确的描述比如“a person standing alone”而不是简单的“person”。检查校准强度 alpha。alpha 过小会放大视觉原型的噪声导致混淆加剧。检查置信度阈值。阈值过低时原型可能混入其他类别的 patch导致校准后的文本特征发生漂移。6.3 加入校准后效果反而变差如果原型校准后 mIoU 反而下降通常是因为原型不可靠。常见原因是初始分割本身错误太多高置信度 patch 并不代表正确的类别语义。排查思路先观察初始分割的置信度分布。如果大部分 patch 的置信度都低于 0.3说明模型本身就不确定。提高置信度阈值只保留明确正确的 patch。减少校准强度将 alpha 调高到接近 0.9让校准只做微调。尝试用多尺度推理先用原始尺寸得到粗分割再用多尺度特征融合提取更稳定的原型。6.4 类别数量增加后性能下降当候选类别从 20 个增加到 80 个时类别之间的语义空间变得更拥挤相似度矩阵中不同类别的峰值差距变小argmax 的稳定性变差。排查思路使用温度缩放。降低温度可以让 softmax 分布更尖锐提高最大类别的置信度。对相似度矩阵做归一化比如先做行归一化再做列归一化。在文本模板中加入更细粒度的属性描述缩小类别间的语义重叠。将类别分组先做粗类别分割再在粗类别内部做细分类。问题现象常见原因解决思路边界成块状patch token 分辨率低上采样粗糙换插值方式、加 CRF 后处理相似类别混淆CLIP 空间文本嵌入距离近精确模板、调整校准强度校准后效果变差初始分割置信度低原型不可靠提高置信度阈值、降低校准强度类别增多后性能下降类别语义空间拥挤相似度区分度不足温度缩放、分组分类、细粒度模板7. 最佳实践与工程建议7.1 提示词模板设计文本模板的选择对结果影响很大。推荐使用多个模板做集成“a photo of a {}”“a {} in the scene”“a {} in the image”“a {} in the outdoor scene”“a close-up of a {}”模板数量不必太多8 到 16 个即可。多了会增加计算量收益逐渐饱和。更关键的是模板要覆盖不同的语义视角而不是简单重复。如果你知道目标场景可以把场景信息嵌入模板比如“a car on the road”“a dog in the house”。这种场景化模板能显著提升特定任务的精度。7.2 温度系数与相似度归一化相似度矩阵的温度系数对 softmax 分布影响很大。温度过低分布过于尖锐少量错误 patch 会对原型产生较大影响温度过高分布过于平滑所有类别的置信度都很接近。经验做法是基础版本使用 CLIP 默认的温度系数比如 0.07。如果置信度普遍偏低尝试降低温度到 0.02~0.05。如果置信度普遍偏高但分割混乱尝试提高温度到 0.1~0.2。工程上建议把温度系数暴露为配置项方便快速调参。7.3 原型选择与校准强度控制原型提取和校准强度是方案的核心超参数。我的建议是先固定一套保守配置跑通流程再逐步优化置信度阈值从 0.3 开始。原型数量从每类 1 个开始。校准强度 alpha从 0.7 开始。如果分割结果不理想按以下顺序调整先观察初始分割的置信度分布确认是否值得校准。再调节置信度阈值过滤掉低置信度 patch。然后调节 alpha找到文本语义和视觉原型的最佳平衡。最后再考虑增加原型数量和模板数量。这个顺序能保证你每一步都有明确的对比不至于多个变量同时改动最后找不到问题根源。7.4 性能与部署建议Training-free 方案的推理瓶颈主要在视觉编码器和文本编码器。如果部署到服务端可以考虑把文本特征缓存下来。类别集不变时不需要重复编码文本。视觉编码器可以用 ONNX 或 TensorRT 加速。原型提取和校准过程只有矩阵运算开销很小。大批量推理时可以先用小分辨率图像提取 patch token再做原型校准最后再在原图分辨率上细化分割。安全方面如果要把模型部署到生产环境建议在隔离环境验证、最小权限原则下运行并对输入图像做好合规校验避免处理敏感内容。8. 总结与下一步学习方向这篇文章围绕 Perceptual Anchoring 这条工作拆解了 Training-free 开放词汇语义分割的核心思路先用 CLIP 文本嵌入得到粗分割再从图像中提取视觉原型用原型校准文本嵌入最后重新计算相似度得到细化分割。整个过程不需要训练新参数只需要在推理阶段增加几步矩阵运算非常适合作为开放词汇分割的基线方案和快速验证手段。进一步学习时可以往这几个方向延伸阅读 MaskCLIP、GroupViT、OVSegmentor 等代表性工作对比训练式与免训练方案的差异。尝试把原型校准的思路迁移到目标检测、实例分割、图文检索等其他多模态任务。研究更复杂的原型聚合策略比如 K-Means 聚类、注意力加权、多尺度原型融合。思考如何把校准过程从“线性插值”升级为更形式化的建模。如果你打算在项目里实践这套流程建议先把基础版跑通再逐步加入原型校准、多模板集成、CRF 后处理。每一步都保持可复现、可对比你就能清楚看到哪个模块带来了真正的提升。如果这篇文章对你有帮助欢迎收藏备用。后续我也会继续分享开放词汇分割和多模态模型相关的内容。