开放词汇语义分割Open-Vocabulary Semantic Segmentation是视觉语言模型走入像素级任务时绕不开的问题。传统分割模型在固定类别集合上训练类别一多或一变就得重新标注、重新训练。Training-free 方法则不同它希望在不更新模型参数的前提下直接用 CLIP、SAM 这类预训练模型对任意文本类别完成分割。Perceptual Anchoring 这条研究路线提出的 Prototype-Guided Text Calibration正是为了解决这类方法中最常见的失效点类别文本嵌入和真实图像视觉特征之间存在分布偏差。实际跑过这类模型的人会有体会模型并非什么都分不出来而是对某些类别的置信度不可靠尤其在低纹理、遮挡和小目标区域。下面从问题背景、方法机制、推理流程、实验设计和工程落地几个角度把 Training-free 开放词汇语义分割中的文本校准问题拆开讲。1. 先理解 Training-free 开放词汇语义分割要解决什么问题1.1 从固定类别到开放词汇任务发生了什么变化传统语义分割网络属于封闭集模型。训练时类别集合固定分类头维度固定为训练类别数推理时只能输出这组标签。比如训练集只有 person、car、road 三类模型就无法输出 tree除非重新准备数据并微调。开放词汇语义分割把任务定义改成了这样训练时不限定最终类别推理时传入一组任意文本描述模型需要把每个像素或每个区域映射到其中一个类别。整条预测链路从“视觉特征 - 固定标签”变成了“视觉特征 - 文本语义空间 - 动态标签”。这个变化带来两个后果。第一模型必须有一个跨模态对齐能力而不是简单依赖一个分类头。CLIP 这类预训练视觉语言模型天然承担了这个角色图像经过视觉编码器得到特征类别名经过文本编码器得到嵌入两者在同一个对齐空间里计算相似度。第二相似度计算的质量直接决定分割精度。封闭集模型里分类头是学出来的边界是隐式优化的开放词汇模型里每个类别只是文本编码器输出的一根向量这根向量够不够代表当前图像上的这个类别就成了最关键的变量。1.2 Training-free 方法为什么能绕过训练Training-free 的意思是推理阶段不进行权重更新不额外学习分割头也不依赖分割标注微调。它的核心是把多个预训练模型组装成一条流水线。目前这类方法大体有两种组织方式组织方式典型流程优点主要问题像素/块级特征匹配提取 CLIP patch 特征与类别文本嵌入逐一计算余弦相似度取最大得分作为标签实现简单、无需额外模型空间边界粗糙、小目标和低纹理区域噪声大区域级特征匹配用 SAM 生成候选掩码对掩码区域做特征池化再与类别文本嵌入匹配边界更完整、能利用形状先验依赖 SAM 掩码质量掩码数量多时计算量大第二种方式是当前 Training-free OVSS 的主流。它把问题拆成两段先生成“可能是什么对象”的区域再判断“这个区域属于哪个类别”。SAM 解决了第一段CLIP 解决第二段。这种设计能绕过训练的根本原因是 CLIP 已经把视觉和文本对齐到了一个共享语义空间SAM 已经学会了通用的实例边界先验。只要把两个模型正确拼接就可以在任意类别集合上做分割而不需要为每个业务场景重复训练。1.3 文本校准问题的来源Training-free 方法看似简单实际推起来会发现一个明显矛盾CLIP 文本编码器输出的类别嵌入代表的是一个“通用语义中心”。例如 dog 的文本向量是所有狗类视觉形态的某种平均抽象而当前图像里的某一只狗可能是局部遮挡的、暗光的、姿势扭曲的它的视觉特征会明显偏离这个文本中心。这种偏离在多类别场景下会被放大。不同类别文本嵌入之间本身存在语义距离但视觉特征和文本特征并不是完全同分布的。类别越细、越相似文本嵌入和视觉特征之间的模态间隔modality gap越明显。常见表现是类别“cat”和“tiger”的文本嵌入接近图像里的虎斑纹区域容易被分给 cat。类别描述较抽象时例如 “furniture”文本嵌入很难匹配到具体的沙发、桌子局部特征。同一个类别在不同光照和视角下视觉特征漂移很大固定文本嵌入无法覆盖这些变化。Perceptual Anchoring 的思路就是针对这个问题不直接信任通用文本嵌入而是从当前图像中提取视觉原型用原型去锚定并校准文本特征让最终的相似度计算更贴合当前图像的内容分布。下一节拆解这个方法的核心机制。2. Perceptual Anchoring 的核心思路用视觉原型锚定文本表征2.1 方法命名拆解Perceptual Anchoring 可以拆成三个词理解。Perceptual 指感知层面也就是图像特征本身Anchoring 指锚定机制让某个动态特征稳定到一个参考点上Prototype-Guided Text Calibration 则是具体手段用视觉原型来引导文本特征的校准。把三者串起来方法要解决的核心问题是文本嵌入太“泛化”不够“当下”。所以需要从当前图像中抽取一些能代表目标类别的视觉原型作为校准参考把文本嵌入向当前图像的分布方向做一次调整让文本和视觉在计算相似度时处在更接近的语义位置上。这里要注意原型不是某个具体像素而是一类能够代表类别视觉分布的向量集合。它比单个像素稳定比整图特征更关注目标区域比文本向量更贴近当前内容。作为 anchor它承担的是“参考点”作用。2.2 视觉原型从哪里来训练自由场景下原型不能通过梯度学习获得只能从预训练模型输出中直接计算。常见原型来源有三种第一种是 SAM 掩码区域特征。SAM 先生成一组候选 mask每个 mask 对应一个可能的 object 区域。然后把这些 mask 作用到 CLIP 图像特征图上对 mask 内特征做池化得到 mask 区域的视觉特征作为原型。第二种是 CLIP patch 特征聚类。把 ViT 输出的 patch tokens 做 K-Means 或其它无监督聚类每个簇中心作为原型。这种方法不需要额外的区域先验模型适合快速原型验证。第三种是多尺度池化。对同一图像的不同缩放尺度提取特征再对同一位置或同一语义区域做池化形成尺度不敏感的原型集合。三种方式不是互斥的。实际方法经常组合使用比如先用 SAM 拿区域再在区域内做聚类得到细粒度原型。原型数量、维度、归一化方式都会直接影响后续文本校准的效果。2.3 文本校准发生在哪一段文本校准插入的位置在文本编码之后、相似度计算之前。具体链路如下类别名通过 CLIP 文本编码器得到原始文本嵌入。图像通过 CLIP 视觉编码器得到 patch 特征再配合 SAM 掩码或聚类得到视觉原型。文本嵌入以每个类别为单位和对应的视觉原型做一次校准得到校准后的类别嵌入。区域特征和校准后的文本嵌入计算相似度取最大得分作为预测标签。校准操作本身可以是多种形式常见的有三类特征混合把文本嵌入和原型特征按权重相加权重决定校准强度。跨模态注意力以文本嵌入作为 query原型作为 key 和 value通过注意力更新文本嵌入让文本“看到”图像里实际长什么样。迭代更新把校准过程重复多轮每轮让文本嵌入逐步逼近当前图像中的类别视觉分布。迭代校准需要控制步数。次数太少校准不充分次数过多文本嵌入会被个别极端的区域特征带偏丧失类别间的判别性。这是后面复现时最需要调的超参数之一。3. Prototype-Guided Text Calibration 的推理链路拆解3.1 整体流程概览把方法设计落到具体推理流程可以整理成四步候选掩码生成SAM 对输入图像预测一组二值掩码。视觉原型提取CLIP 对图像编码结合掩码做区域池化形成原型集合。文本校准类别文本嵌入在视觉原型引导下更新。相似度分类区域特征与校准后的文本嵌入计算相似度得到每个掩码的类别。下面用伪代码把这个流程表达出来。这段代码用于说明方法思路实际项目需要结合具体模型版本和依赖库调整。# 伪代码Prototype-Guided Text Calibration 推理骨架 def perceptual_anchoring_inference(image, categories, sam, clip_visual, clip_text): # 第一步SAM 生成候选掩码 proposals sam.generate_mask(image) # list of binary masks # 第二步提取图像特征和视觉原型 patch_features clip_visual.encode_image_patch(image) # [H, W, C] prototypes [] for mask in proposals: region_feat region_pooling(patch_features, mask) # 掩码区域特征 prototypes.append(region_feat) # 第三步文本编码与原型引导校准 text_embeds clip_text.encode_text(categories) # [N, C] calibrated_texts calibrate_with_prototypes( text_embeds, prototypes, num_steps3 ) # 第四步区域特征与校准文本计算相似度 scores cosine_similarity(prototypes, calibrated_texts) # [M, N] labels argmax(scores, dim-1) return labels, calibrated_texts3.2 图像侧候选掩码生成与原型提取图像侧的关键是让原型既具备对象完整性又具备语义代表性。纯 CLIP patch 特征容易把相邻对象的边界特征混在一起所以很多方法选择先用 SAM 提供对象边界。SAM 输出常见配置包括参数含义设置偏大时的现象设置偏小时的现象掩码数量每张图生成多少个候选区域更细但计算量大易出现重复掩码可能漏掉小目标NMS 阈值掩码去重的 IoU 阈值掩码重复率高有效区域减少置信度阈值保留掩码的最低得分掩码质量更稳但召回下降噪声掩码增加区域池化也不能简单平均。直接平均会把掩码内次要像素的噪声带进原型推荐先对 mask 内像素特征做归一化或加权再聚合def region_pooling(patch_features, mask, eps1e-6): # mask: [H, W] 二值掩码 mask_flat mask.reshape(-1) feat_flat patch_features.reshape(-1, patch_features.shape[-1]) selected feat_flat[mask_flat 0] if len(selected) 0: return zeros(patch_features.shape[-1]) # 先 L2 归一化再平均降低极端像素影响 selected l2_normalize(selected, dim-1) proto selected.mean(dim0) return l2_normalize(proto, dim-1)3.3 文本侧类别嵌入与校准文本侧的第一步是编码。CLIP 文本编码器输入的是 tokenized 文本通常还会套一层 prompt 模板。常见做法是简单地将类别名填入模板例如 “a photo of a {类别名}”。更稳定的做法是使用多个模板取平均称为 prompt ensemble可以有效降低单模板的偏差。校准模块是 Perceptual Anchoring 的核心。从方法命名推断一个合理的实现是跨模态注意力。下面给出一个示意写法class PrototypeTextCalibration(nn.Module): def __init__(self, dim, num_heads8, num_steps3): super().__init__() self.num_steps num_steps self.cross_attn nn.MultiheadAttention(dim, num_heads, batch_firstFalse) self.norm nn.LayerNorm(dim) def forward(self, text_embeds, prototypes): # text_embeds: [N, C] 类别文本嵌入 # prototypes: [M, C] 视觉原型 query text_embeds.unsqueeze(1) # [N, 1, C] key value prototypes.unsqueeze(0).repeat(query.size(0), 1, 1) for _ in range(self.num_steps): attn_out, _ self.cross_attn(query, key, value) query self.norm(query attn_out) return query.squeeze(1)这段代码的关键点是文本嵌入通过注意力读取视觉原型中与自身相关的信息再用残差连接保留原始文本语义。如果不加残差多轮更新后容易丢失类别本身的语义导致不同类别被拉向相近的视觉特征。3.4 相似度计算与标签分配校准完成后进入最终的相似度计算。区域特征和文本特征都要做 L2 归一化否则向量模长差异会干扰相似度排序sim cosine_similarity(region_feat, calibrated_texts) # [M, N] temperature 0.01 # 需要根据特征尺度调整 sim sim / temperature labels argmax(sim, dim-1)标签分配策略也会影响最终分割图。常见策略有三种每个掩码独立取最高相似度类别再根据掩码面积映射到像素。对掩码之间存在重叠的区域采用置信度优先覆盖。如果相似度低于某个阈值则标记为背景类或忽略。第二种策略在掩码重叠时更稳定但会引入阈值超参数。第三种策略适合开放集场景因为测试类别中出现的未知对象不应被强行分配到已有类别。3.5 校准前后对比为什么要这样做阶段类别表征优点风险校准前原始文本嵌入语义稳定不受单张图干扰与当前图像分布可能存在系统性偏差校准后原型引导的文本嵌入更贴合当前图像内容区域匹配更准校准过度会牺牲类别区分度因此校准强度、迭代次数、原型质量是需要同时权衡的三个变量。最好的方法设计一定会在论文实验部分用消融实验给出这些变量的敏感性分析。复现时不要直接照搬最终配置要先在自己数据集上做小范围搜索。4. 实验设计与验证怎么判断文本校准真的有效4.1 衡量指标开放词汇语义分割常用的评估指标包括指标全称关注点mIoUmean Intersection over Union各类别 IoU 的平均值最常用pAccpixel Accuracy整体像素准确率aAccclass-averaged Accuracy各类别准确率平均对不均衡更敏感f-mIoUfrequency-weighted IoU按类别频率加权的 IoU反映常见类别表现对比时要注意报告的是 Pixel-level mIoU 还是 Mask-level mIoU。前者把预测掩码映射到像素再算 IoU后者先计算掩码级的匹配再聚合。两者在掩码边界质量不同时结果差异很大不能直接跨论文比较。4.2 应该重点关注的消融实验一个方法是否有效关键看消融实验覆盖了哪些变量。阅读 Perceptual Anchoring 论文时建议优先关注以下消融有校准和没校准的性能差这是方法成立的基础。不同原型来源SAM 掩码池化原型 vs 聚类原型。校准迭代步数1 步、3 步、5 步的变化趋势。原型数量太少无法代表视觉分布太多引入噪声。融合权重校准强度对结果的影响。如果论文里报告了这些消融应该能从结果看出一个合理区间。例如迭代步数从 1 增加到 3 时 mIoU 上升继续增加到 5 时下降说明存在过拟合到图像特征的风险这是文本校准方法最常见的失败模式。4.3 可视化结果的观察点数值指标之外可视化能帮助判断方法是否真的产生预期效果。重点关注三个位置第一低置信度区域。校准前这些区域可能出现置信度分散校准后应该更集中地指向正确类别。第二细粒度类别之间的混淆。比如 dog 和 fox、cat 和 leopard校准后错误应该主要分布到语义更接近的错误类别而不是完全随机。第三相似度热图。比较校准前后文本嵌入与所有区域特征的相似度分布如果校准有效正确类别和错误类别之间的得分间隙应该变大。4.4 需要记录的超参数和配置复现和实验对比时以下配置必须记录否则实验不可复现配置项推荐记录方式预训练模型版本CLIP ViT-B/32、ViT-L/14SAM ViT-B/H 等文本模板明确列出模板集合原型数量每个类别或每张图多少个原型校准迭代步数与性能变化的记录一起保存温度系数相似度缩放值输入分辨率长边和短边随机种子所有涉及采样或聚类的随机数种子评估方式Pixel-level 还是 Mask-level注意不要只记录最终使用的超参数要把调试过程中的失败配置也保留在实验日志里。文本校准方法对超参数比较敏感失败配置往往是排查问题的关键线索。5. 复现与工程落地中的常见坑5.1 评估协议不一致导致结果对不上论文现象在自己环境上复现的 mIoU 比论文低很多甚至差 5 个点以上。可能原因评估协议差异。常见差异包括是否使用 GT mask 而非预测 mask、是否包含背景类、掩码重叠区域的归属策略、类别集合是否一致。检查方式先确认论文用的是 Ground Truth mask 还是 SAM 预测 mask 做区域特征提取。有些方法在评估时用 GT mask 提取原型实际部署时用预测 mask两者性能会有明显差距。处理建议复现时先严格对齐评估协议再做方法层面的调优。如果原论文公开代码优先使用其评估脚本。5.2 文本模板和类别同义词处理不当现象单个类别改成不同说法比如 “car” 和 “automobile”性能波动明显。原因CLIP 文本编码器对 prompt 很敏感不同表述会落在语义空间的不同位置导致与视觉特征的匹配程度不同。检查方式对每个类别准备多个模板分别测试单模板和平均模板下的 mIoU。处理建议使用 prompt ensemble例如 10 个模板平均对同义词类别提前做归一化或合并避免一个对象对应多个高度相似的文本嵌入导致分类歧义。5.3 原型池化方式过于简单现象小目标类别召回率低或者掩码边缘区域的分类噪声大。原因直接对掩码内所有像素特征取平均会把边缘像素和背景像素的噪声引入原型。小目标区域有效像素少平均操作容易被少数极端特征主导。检查方式比较平均池化和加权池化下不同尺度目标的 IoU。处理建议在池化前先对像素特征做 L2 归一化或根据掩码置信度加权对过小的掩码设置最小面积阈值低于阈值直接丢弃。5.4 显存占用与推理速度失控现象SAM 生成大量掩码后视觉原型集合很大CLIP 特征和文本校准模块的显存占用快速上涨推理延迟不可接受。原因高分辨率输入和过多的掩码数量导致特征张量膨胀文本校准的跨模态注意力如果原型数量太多计算复杂度也会上升。检查方式分别统计 SAM、CLIP 编码、原型提取、文本校准各阶段耗时和显存。处理建议对 SAM 掩码做 NMS 和置信度过滤控制每张图掩码数量。原型数量做上限截断超出后按置信度排序取前 K 个。文本校准模块使用半精度推理。生产环境将批量图像切分为小块处理避免显存尖峰。5.5 校准迭代次数和融合权重过拟合到单张图现象在训练集样图上调试效果很好换到新图像后类别混淆严重。原因校准强度参数被调得过高文本嵌入在调试样本上被拉得很偏失去了类别通用性。检查方式在测试集上把校准强度做 0 到 1 的范围扫描看性能是否呈现先升后降的曲线。处理建议选择曲线稳定区间中间的值而不是最高点两侧的临界值。方法要具备跨图像鲁棒性校准强度必须保留一定的语义先验权重。6. 从论文理解到实际应用的建议6.1 适合用 Training-free OVSS 的场景Training-free 开放词汇分割最合适的场景是类别频繁变化、标注资源有限的快速原型验证。例如电商图像的商品区域粗分割商品类目经常变化。工业质检中的缺陷区域快速标注先用开放词汇模型生成候选区域再由人工确认。视频帧的语义粗分割辅助后续跟踪或检索任务。在这些场景里训练一个专用分割模型的成本太高Training-free 方法的优势非常明显换一组类别文本就能重新分割不需要重新训练。6.2 与现有系统集成的思路集成时不要把整个链路当黑盒。建议按模块拆分SAM 掩码生成可以缓存复用。同一帧图像或多个相似帧结果可以直接复用。CLIP 图像特征在同一分辨率下多次推理结果一致可以缓存。文本校准输出与类别集合有关类别集合不变时结果可以缓存。生产环境还需要增加一层置信度过滤。对每个掩码如果最高相似度和次高相似度的差距很小说明分类不确定不应直接输出建议标记为待人工确认。这在开放集场景下尤其重要因为测试类别集合很可能没有覆盖图像中所有对象。6.3 后续学习和扩展方向理解 Perceptual Anchoring 之后可以沿着几个方向继续深入从图像级校准扩展到视频级校准利用时间连续帧的原型来稳定文本表征。将原型校准机制迁移到开放集检测用区域原型校准文本分类器。结合测试时适应思想用少量无标注图像的统计信息动态调整校准强度。研究更轻量的校准模块降低跨模态注意力在移动端上的计算开销。对刚开始接触这个方向的读者建议从复现一个最小链路开始用 CLIP 加 SAM 跑通基础分割再逐步加入视觉原型提取和文本校准模块。每一步都要对比指标变化这样才能真正理解文本校准在整条链路中的作用而不是停留在概念层面。