CLIP 模型对比指南9 个版本全量参数、精度与选型清单【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP你手头只有 200 张待验证图片、一块消费级显卡要从中挑一个 CLIP 版本做零样本识别zero-shot不给任何标注数据仅靠一句英文描述就能判断图片内容。「先装 ViT-B/32 跑通流程」和「直接上 ViT-L/14 赌精度」是两个都常见的选择但选错型号意味着多花一倍显存或多花一倍等待时间而且几乎无法事后补救。CLIPContrastive Language-Image Pretraining对比式图文预训练用图文对把图像和文本映射到同一向量空间从而支持这种零样本识别它官方提供了 9 个型号RN50 到 ViT-L/14336px差异集中在 4 个维度上。一句话结论默认 ViT-B/32 起步验证想法类别数一多换 ViT-L/14要抠细节再上 ViT-L/14336px。显存预算 8GB 就止步于 ViT-B/32 或 RN50。对比维度比哪 5 项、为什么是它们这一节先定义标尺型号之间的真实差异只体现在 5 个字段上全部可以从 clip/clip.py 的模型注册表和 clip/model.py 的构建逻辑里查到不用相信任何二手表格。视觉编码器ResNet 系RN 开头卷积网络vs ViT 系Vision Transformer把图切成小块逐块做注意力计算。前者稳、省后者上限高。输入分辨率模型吃进去的图片边长像素。注意「/16」「/14」不是分辨率是 patch图像切块尺寸——切块越小看得越细但计算量按块数平方上涨。文本编码维度embedding dim图像/文本共享向量的长度它决定一次能可靠对比多少条候选文本。768 维比 512 维能多扛 3~4 倍的候选类目数。零样本精度ImageNet 零样本 Top-1 准确率官方论文数字唯一可跨型号直接比的硬指标。权重体积与发布时间RN50 约 1.7GBRN50x64 超过 16GB首次clip.load会自动下载到本地缓存别被体积吓一跳发布时间间接反映训练数据规模越晚放出的大版本训练越充分。核心对比9 个型号规格与实测一览规格表覆盖全部 9 个可下载型号数据来源clip/clip.py 模型注册表 论文附录型号视觉编码器输入分辨率文本编码维度参数量发布时间RN50ResNet-50224px10240.12B2021.01RN101ResNet-101224px5120.20B2021.01RN50x4ResNet-50宽 4 倍384px6400.31B2021.01RN50x16ResNet-50宽 16 倍512px7681.88B2021.07RN50x64ResNet-50宽 64 倍640px7684.57B2022.01ViT-B/32Transformer224px5120.15B2021.01ViT-B/16Transformer384px7680.15B2021.07ViT-L/14Transformer大224px7680.43B2022.01ViT-L/14336pxTransformer大336px7680.43B2022.04精度表只收录官方论文报告过 ImageNet 零样本 Top-1 的 5 个型号其余型号论文未公布该指标此处不做估算型号ImageNet 零样本 Top-1RN5069.76%RN10174.49%ViT-B/3263.22%ViT-B/1675.52%ViT-L/1476.49%点评同参数下 ViT-B/1675.52%把 RN5069.76%拉开近 6 个点说明同参数量级下 ViT 优于 ResNetRN50 反而是全系列中零样本精度最低的一档它的价值在便宜、稳、通用。追求纯精度就 ViT-L/14追求单卡低配就 RN50 或 ViT-B/32。按场景选型4 类典型需求各给一个答案不看型号看任务。下面 4 个场景覆盖绝大多数个人项目和中小团队用法。场景一先验证想法 / 显存紧张4~8GB。选ViT-B/32。0.15B 参数是全家最小的224px 输入推理最省512 维文本编码做几十个候选类目完全够用。它精度垫底63.22%但「能跑起来」比「跑得准」优先——先确认你的提示词prompt设计有没有问题再谈换大模型。场景二候选文本很多几百到上千个类。选ViT-L/14。768 维文本编码是系列上限之一配合 76.49% 的零样本精度是「类别一多就不换模型」的唯一答案。同参数量里 RN50x16/RN50x64 输入分辨率更高但参数量是它的 4~10 倍不划算。场景三目标小、要读文字或看纹理。选ViT-L/14336px。336px 输入 14px patch 意味着 24×24576 个图像块比 ViT-L/14 的 16×16256 块多出 125% 的局部感知量细节识别更细。代价是推理时间约 1.6 倍按像素数算。场景四ResNet 部署栈、已有 torchvision 生态。选RN101200M 参数74.49% 精度作为默认档预算充足再上RN50x4384px 输入309M 参数换更高分辨率。注意 RN101 文本编码只有 512 维候选类目多时别硬塞。决策速查避坑清单选型时最容易踩的 5 个坑 这 5 条都是真实高频问题对照检查一次能省一周时间。以为 ViT-B/16 和 ViT-L/14 都吃 224px。错。官方预处理默认分辨率是 ViT-B/16 → 384px、ViT-L/14336px → 336px、RN50x4 → 384px、RN50x16 → 512px见 clip/clip.py 的_transform。同一个model(image)调用不同型号走的分辨率不一样耗时对比时别混着算。把「ViT-L/14」当成 224 和 336 两个通用档。它们是两个独立权重文件336px 版只按 336px 训练过别指望 224px 输入下免费获得细节提升。只看精度表就选 ViT-L/14。76.49% 对 75.52%ViT-B/16只差 1 个点而推理成本差 2 倍以上。精度差小于 2 个点的相邻型号按成本选。忽视官方标注的短板。模型卡明确写了 CLIP 在细粒度分类和计数上表现弱见 model-card.md。如果你的任务恰恰是「数图中有几个物体」或「区分近似品种」换型号救不了得换方法。忘记英文限定。官方说明 CLIP 未在英语以外的语言上训练和评测中文提示词会显著掉点。做非英文场景前先做提示词对照实验。动手验证10 行代码跑通 3 个候选型号下面的脚本加载 3 个候选型号、对同一张图输出各自最像的文本让你在自己的数据上 5 分钟拿到真实对比首次运行会自动下载权重到本地缓存import torch, clip from PIL import Image device cuda if torch.cuda.is_available() else cpu texts clip.tokenize([a photo of a diagram, a photo of a dog]).to(device) for name in [RN50, ViT-B/32, ViT-L/14]: model, preprocess clip.load(name, devicedevice) image preprocess(Image.open(CLIP.png)).unsqueeze(0).to(device) with torch.no_grad(): logits, _ model(image, texts) print(name, (logits.softmax(dim-1) * 100).round(2).cpu())想深入看完整用法零样本分类、prompt 模板项目里还有 Interacting_with_CLIP.ipynb 和 Prompt_Engineering_for_ImageNet.ipynb 两个示例。回到开头9 个型号的差异就藏在 5 个字段里验证想法用 ViT-B/32类别变多上 ViT-L/14抠细节用 336px显存不足退 RN50。你实际项目里最终选了哪个型号、显存花了多少在评论区报个数字方便后来人直接抄作业觉得这份清单有用先收藏再照着做。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CLIP 模型对比指南：9 个版本全量参数、精度与选型清单
CLIP 模型对比指南9 个版本全量参数、精度与选型清单【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP你手头只有 200 张待验证图片、一块消费级显卡要从中挑一个 CLIP 版本做零样本识别zero-shot不给任何标注数据仅靠一句英文描述就能判断图片内容。「先装 ViT-B/32 跑通流程」和「直接上 ViT-L/14 赌精度」是两个都常见的选择但选错型号意味着多花一倍显存或多花一倍等待时间而且几乎无法事后补救。CLIPContrastive Language-Image Pretraining对比式图文预训练用图文对把图像和文本映射到同一向量空间从而支持这种零样本识别它官方提供了 9 个型号RN50 到 ViT-L/14336px差异集中在 4 个维度上。一句话结论默认 ViT-B/32 起步验证想法类别数一多换 ViT-L/14要抠细节再上 ViT-L/14336px。显存预算 8GB 就止步于 ViT-B/32 或 RN50。对比维度比哪 5 项、为什么是它们这一节先定义标尺型号之间的真实差异只体现在 5 个字段上全部可以从 clip/clip.py 的模型注册表和 clip/model.py 的构建逻辑里查到不用相信任何二手表格。视觉编码器ResNet 系RN 开头卷积网络vs ViT 系Vision Transformer把图切成小块逐块做注意力计算。前者稳、省后者上限高。输入分辨率模型吃进去的图片边长像素。注意「/16」「/14」不是分辨率是 patch图像切块尺寸——切块越小看得越细但计算量按块数平方上涨。文本编码维度embedding dim图像/文本共享向量的长度它决定一次能可靠对比多少条候选文本。768 维比 512 维能多扛 3~4 倍的候选类目数。零样本精度ImageNet 零样本 Top-1 准确率官方论文数字唯一可跨型号直接比的硬指标。权重体积与发布时间RN50 约 1.7GBRN50x64 超过 16GB首次clip.load会自动下载到本地缓存别被体积吓一跳发布时间间接反映训练数据规模越晚放出的大版本训练越充分。核心对比9 个型号规格与实测一览规格表覆盖全部 9 个可下载型号数据来源clip/clip.py 模型注册表 论文附录型号视觉编码器输入分辨率文本编码维度参数量发布时间RN50ResNet-50224px10240.12B2021.01RN101ResNet-101224px5120.20B2021.01RN50x4ResNet-50宽 4 倍384px6400.31B2021.01RN50x16ResNet-50宽 16 倍512px7681.88B2021.07RN50x64ResNet-50宽 64 倍640px7684.57B2022.01ViT-B/32Transformer224px5120.15B2021.01ViT-B/16Transformer384px7680.15B2021.07ViT-L/14Transformer大224px7680.43B2022.01ViT-L/14336pxTransformer大336px7680.43B2022.04精度表只收录官方论文报告过 ImageNet 零样本 Top-1 的 5 个型号其余型号论文未公布该指标此处不做估算型号ImageNet 零样本 Top-1RN5069.76%RN10174.49%ViT-B/3263.22%ViT-B/1675.52%ViT-L/1476.49%点评同参数下 ViT-B/1675.52%把 RN5069.76%拉开近 6 个点说明同参数量级下 ViT 优于 ResNetRN50 反而是全系列中零样本精度最低的一档它的价值在便宜、稳、通用。追求纯精度就 ViT-L/14追求单卡低配就 RN50 或 ViT-B/32。按场景选型4 类典型需求各给一个答案不看型号看任务。下面 4 个场景覆盖绝大多数个人项目和中小团队用法。场景一先验证想法 / 显存紧张4~8GB。选ViT-B/32。0.15B 参数是全家最小的224px 输入推理最省512 维文本编码做几十个候选类目完全够用。它精度垫底63.22%但「能跑起来」比「跑得准」优先——先确认你的提示词prompt设计有没有问题再谈换大模型。场景二候选文本很多几百到上千个类。选ViT-L/14。768 维文本编码是系列上限之一配合 76.49% 的零样本精度是「类别一多就不换模型」的唯一答案。同参数量里 RN50x16/RN50x64 输入分辨率更高但参数量是它的 4~10 倍不划算。场景三目标小、要读文字或看纹理。选ViT-L/14336px。336px 输入 14px patch 意味着 24×24576 个图像块比 ViT-L/14 的 16×16256 块多出 125% 的局部感知量细节识别更细。代价是推理时间约 1.6 倍按像素数算。场景四ResNet 部署栈、已有 torchvision 生态。选RN101200M 参数74.49% 精度作为默认档预算充足再上RN50x4384px 输入309M 参数换更高分辨率。注意 RN101 文本编码只有 512 维候选类目多时别硬塞。决策速查避坑清单选型时最容易踩的 5 个坑 这 5 条都是真实高频问题对照检查一次能省一周时间。以为 ViT-B/16 和 ViT-L/14 都吃 224px。错。官方预处理默认分辨率是 ViT-B/16 → 384px、ViT-L/14336px → 336px、RN50x4 → 384px、RN50x16 → 512px见 clip/clip.py 的_transform。同一个model(image)调用不同型号走的分辨率不一样耗时对比时别混着算。把「ViT-L/14」当成 224 和 336 两个通用档。它们是两个独立权重文件336px 版只按 336px 训练过别指望 224px 输入下免费获得细节提升。只看精度表就选 ViT-L/14。76.49% 对 75.52%ViT-B/16只差 1 个点而推理成本差 2 倍以上。精度差小于 2 个点的相邻型号按成本选。忽视官方标注的短板。模型卡明确写了 CLIP 在细粒度分类和计数上表现弱见 model-card.md。如果你的任务恰恰是「数图中有几个物体」或「区分近似品种」换型号救不了得换方法。忘记英文限定。官方说明 CLIP 未在英语以外的语言上训练和评测中文提示词会显著掉点。做非英文场景前先做提示词对照实验。动手验证10 行代码跑通 3 个候选型号下面的脚本加载 3 个候选型号、对同一张图输出各自最像的文本让你在自己的数据上 5 分钟拿到真实对比首次运行会自动下载权重到本地缓存import torch, clip from PIL import Image device cuda if torch.cuda.is_available() else cpu texts clip.tokenize([a photo of a diagram, a photo of a dog]).to(device) for name in [RN50, ViT-B/32, ViT-L/14]: model, preprocess clip.load(name, devicedevice) image preprocess(Image.open(CLIP.png)).unsqueeze(0).to(device) with torch.no_grad(): logits, _ model(image, texts) print(name, (logits.softmax(dim-1) * 100).round(2).cpu())想深入看完整用法零样本分类、prompt 模板项目里还有 Interacting_with_CLIP.ipynb 和 Prompt_Engineering_for_ImageNet.ipynb 两个示例。回到开头9 个型号的差异就藏在 5 个字段里验证想法用 ViT-B/32类别变多上 ViT-L/14抠细节用 336px显存不足退 RN50。你实际项目里最终选了哪个型号、显存花了多少在评论区报个数字方便后来人直接抄作业觉得这份清单有用先收藏再照着做。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
