CLIP零样本分类调优手册4个排查环节、2组核心代码与温度系数速查【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP你跑通了CLIPContrastive Language-Image Pretraining对比式语言-图像预训练的官方示例一张狗的图模型却选中了cow换一张猫概率又均匀得像撒了面粉。模型权重没动过问题大概率出在推理链路的四个环节相似度矩阵怎么读、温度系数怎么调、prompt怎么写、数据有没有被截断。这篇文章给出一套按图索骥的排查方法读完后你能独立完成一次完整的零样本分类诊断。先读懂相似度矩阵你的分类依据是什么CLIP的官方架构图把整条链路画得很清楚左侧是对比预训练图、文各过一个编码器算出N×N的相似度矩阵右侧是零样本推理把标签文本编码成prompt与图片特征比对取最高分。这张图告诉你的结论零样本分类没有分类头分类器就是标签文本本身。效果不好时该怀疑的是文本侧而不是图像侧。矩阵是这样算出来的。下面这段代码取自仓库clip/model.py的forward方法运行环境已安装 PyTorch ≥1.7.1 的 Python 环境# 归一化到单位球面点积即余弦相似度取值被锁定在[-1,1] image_features image_features / image_features.norm(dim1, keepdimTrue) text_features text_features / text_features.norm(dim1, keepdimTrue) # logit_scale是模型自带的可学习参数推理时冻结 logit_scale self.logit_scale.exp() logits_per_image logit_scale * image_features text_features.t()拿到logits_per_image后按行做 softmax 就是每个标签的概率。判读标准正确标签概率 0.5 算稳0.2~0.5 说明标签间区分度不足该换 prompt 0.2 基本是选错模型或 prompt 写坏了。注意batch 内的文本互为负样本推理时只传你自己的候选标签别把无关文本塞进去拉低基线。温度系数怎么调logit_scale 的三种干预方式温度系数由logit_scale控制在clip/model.py第 295 行初始化运行环境同上直接读取模型参数即可# 0.07是论文默认的相似度温度取倒数后exp()约得14.3 self.logit_scale nn.Parameter(torch.ones([]) * np.log(1 / 0.07))它本质是一个锐化旋钮分数都差不多时温度越高softmax 后正确标签与次优标签的差距拉得越大。你的目标操作判断锚点概率太平正确项仅0.2左右把温度从14.3提到20~50再算一次softmax正确项概率进0.4以上即有效想确认最优温度在10~100之间网格搜索挑零样本R1最高的点搜索集至少500张带标签图怀疑模型过锐降回初始值14.3概率回落到0.3~0.5区间⚠️ 注意这是可学习参数只在你自己微调模型时参与梯度更新。加载官方权重做推理时它是固定的改它只影响你本地的后处理不会污染权重文件。用prompt模板改写标签把边界类别拉出来温度调不动的差距多半要回到文本侧。仓库里的data/prompts.md是一份现成的prompt模板清单ImageNet风格的标签句式核心思路一句话同一个标签写成多个句子取所有句子里概率最高的那个。运行环境已clip.load(ViT-B/32)输入为单张 PIL 图像import clip, torch, numpy as np def zero_shot_probs(model, preprocess, image, prompts): tokens clip.tokenize(prompts) # 一次编码所有候选prompt with torch.no_grad(): # 图片与全部prompt一次性进模型省掉逐个编码 logits, _ model(preprocess(image).unsqueeze(0).cuda(), tokens.cuda()) return logits.softmax(-1)[0].cpu().numpy() labels [dog, cat, cow] # 每个标签展开成多句式边界类别的区分度主要来自这一步 prompts [fa photo of a {l}. for l in labels] \ [fa photo of a small {l}. for l in labels] \ [fa photo of a large {l}. for l in labels] probs zero_shot_probs(model, preprocess, img, prompts) pred labels[np.argmax(probs.reshape(3, 3), axis1)] # 每标签取最高句式句式变体的写法直接对照data/prompts.md按你的类别体系替换即可经验上单句式 prompt 的零样本 R1 每多一组句式变体边界类别狗/牛、猫/虎这类能再涨 0.5~1 个百分点句式超过 50 个后边际收益趋近于零收益和推理开销要自己权衡。效果不达预期时按这张表逐项排查前两步都没救回来症状通常对得上下面这张表你观察到的现象先查哪里处理动作所有图片都选中同一个标签prompt 列表里是否混入了无关文本推理时只传候选标签正确项概率 0.2~0.3怎么调温度都不动标签句式是否太单一按上节展开句式变体概率平坦120个标签各约0.008模型是否加载成功、是否用了eval模式重跑clip.load确认设备一致同一句 prompt 报错或结果突变clip.tokenize的 context_length77 截断文本超过77 token会抛错压缩表述细节小图分类明显偏科输入分辨率RN50/ViT-B系列只吃224px换 ViT-L/14336px 类模型clip.tokenize的截断逻辑在clip/clip.py第 205 行起超过 77 token 不传truncateTrue会直接抛RuntimeError这是长 prompt 突然报错的头号原因。模型与分辨率的对应关系可从clip/clip.py的_MODELS字典直接查共 9 种从 RN50 到 ViT-L/14336px分辨率覆盖 224~336px。落地检查清单今天就能跑的五步跑通仓库notebooks/下的 ImageNet prompt 工程示例确认基线。打印 softmax 概率按0.5 稳、0.2~0.5 换 prompt的锚点判读。温度在 10~100 网格搜索一遍记录零样本 R1 峰值点。每个标签展开 3~5 个句式变体对照data/prompts.md写句式。用tests/test_consistency.py的方式做一次 JIT 与纯 PyTorch 的一致性自检误差容忍 atol0.01。延伸阅读notebooks/Prompt_Engineering_for_ImageNet.ipynb、data/prompts.md、hubconf.pytorch.hub 加载方式。模型权重不用动prompt 到位差距就出来一半。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CLIP零样本分类调优手册：4个排查环节、2组核心代码与温度系数速查
CLIP零样本分类调优手册4个排查环节、2组核心代码与温度系数速查【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP你跑通了CLIPContrastive Language-Image Pretraining对比式语言-图像预训练的官方示例一张狗的图模型却选中了cow换一张猫概率又均匀得像撒了面粉。模型权重没动过问题大概率出在推理链路的四个环节相似度矩阵怎么读、温度系数怎么调、prompt怎么写、数据有没有被截断。这篇文章给出一套按图索骥的排查方法读完后你能独立完成一次完整的零样本分类诊断。先读懂相似度矩阵你的分类依据是什么CLIP的官方架构图把整条链路画得很清楚左侧是对比预训练图、文各过一个编码器算出N×N的相似度矩阵右侧是零样本推理把标签文本编码成prompt与图片特征比对取最高分。这张图告诉你的结论零样本分类没有分类头分类器就是标签文本本身。效果不好时该怀疑的是文本侧而不是图像侧。矩阵是这样算出来的。下面这段代码取自仓库clip/model.py的forward方法运行环境已安装 PyTorch ≥1.7.1 的 Python 环境# 归一化到单位球面点积即余弦相似度取值被锁定在[-1,1] image_features image_features / image_features.norm(dim1, keepdimTrue) text_features text_features / text_features.norm(dim1, keepdimTrue) # logit_scale是模型自带的可学习参数推理时冻结 logit_scale self.logit_scale.exp() logits_per_image logit_scale * image_features text_features.t()拿到logits_per_image后按行做 softmax 就是每个标签的概率。判读标准正确标签概率 0.5 算稳0.2~0.5 说明标签间区分度不足该换 prompt 0.2 基本是选错模型或 prompt 写坏了。注意batch 内的文本互为负样本推理时只传你自己的候选标签别把无关文本塞进去拉低基线。温度系数怎么调logit_scale 的三种干预方式温度系数由logit_scale控制在clip/model.py第 295 行初始化运行环境同上直接读取模型参数即可# 0.07是论文默认的相似度温度取倒数后exp()约得14.3 self.logit_scale nn.Parameter(torch.ones([]) * np.log(1 / 0.07))它本质是一个锐化旋钮分数都差不多时温度越高softmax 后正确标签与次优标签的差距拉得越大。你的目标操作判断锚点概率太平正确项仅0.2左右把温度从14.3提到20~50再算一次softmax正确项概率进0.4以上即有效想确认最优温度在10~100之间网格搜索挑零样本R1最高的点搜索集至少500张带标签图怀疑模型过锐降回初始值14.3概率回落到0.3~0.5区间⚠️ 注意这是可学习参数只在你自己微调模型时参与梯度更新。加载官方权重做推理时它是固定的改它只影响你本地的后处理不会污染权重文件。用prompt模板改写标签把边界类别拉出来温度调不动的差距多半要回到文本侧。仓库里的data/prompts.md是一份现成的prompt模板清单ImageNet风格的标签句式核心思路一句话同一个标签写成多个句子取所有句子里概率最高的那个。运行环境已clip.load(ViT-B/32)输入为单张 PIL 图像import clip, torch, numpy as np def zero_shot_probs(model, preprocess, image, prompts): tokens clip.tokenize(prompts) # 一次编码所有候选prompt with torch.no_grad(): # 图片与全部prompt一次性进模型省掉逐个编码 logits, _ model(preprocess(image).unsqueeze(0).cuda(), tokens.cuda()) return logits.softmax(-1)[0].cpu().numpy() labels [dog, cat, cow] # 每个标签展开成多句式边界类别的区分度主要来自这一步 prompts [fa photo of a {l}. for l in labels] \ [fa photo of a small {l}. for l in labels] \ [fa photo of a large {l}. for l in labels] probs zero_shot_probs(model, preprocess, img, prompts) pred labels[np.argmax(probs.reshape(3, 3), axis1)] # 每标签取最高句式句式变体的写法直接对照data/prompts.md按你的类别体系替换即可经验上单句式 prompt 的零样本 R1 每多一组句式变体边界类别狗/牛、猫/虎这类能再涨 0.5~1 个百分点句式超过 50 个后边际收益趋近于零收益和推理开销要自己权衡。效果不达预期时按这张表逐项排查前两步都没救回来症状通常对得上下面这张表你观察到的现象先查哪里处理动作所有图片都选中同一个标签prompt 列表里是否混入了无关文本推理时只传候选标签正确项概率 0.2~0.3怎么调温度都不动标签句式是否太单一按上节展开句式变体概率平坦120个标签各约0.008模型是否加载成功、是否用了eval模式重跑clip.load确认设备一致同一句 prompt 报错或结果突变clip.tokenize的 context_length77 截断文本超过77 token会抛错压缩表述细节小图分类明显偏科输入分辨率RN50/ViT-B系列只吃224px换 ViT-L/14336px 类模型clip.tokenize的截断逻辑在clip/clip.py第 205 行起超过 77 token 不传truncateTrue会直接抛RuntimeError这是长 prompt 突然报错的头号原因。模型与分辨率的对应关系可从clip/clip.py的_MODELS字典直接查共 9 种从 RN50 到 ViT-L/14336px分辨率覆盖 224~336px。落地检查清单今天就能跑的五步跑通仓库notebooks/下的 ImageNet prompt 工程示例确认基线。打印 softmax 概率按0.5 稳、0.2~0.5 换 prompt的锚点判读。温度在 10~100 网格搜索一遍记录零样本 R1 峰值点。每个标签展开 3~5 个句式变体对照data/prompts.md写句式。用tests/test_consistency.py的方式做一次 JIT 与纯 PyTorch 的一致性自检误差容忍 atol0.01。延伸阅读notebooks/Prompt_Engineering_for_ImageNet.ipynb、data/prompts.md、hubconf.pytorch.hub 加载方式。模型权重不用动prompt 到位差距就出来一半。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
