1. 为什么多模态微调这么费劲从CLIP的“预设模板”说起如果要在多模态模型微调这个方向里挑一个让我印象最深的代表MaPLe 肯定排前三。刚读完《MaPLe: Multi-modal Prompt Learning》这篇论文时我第一反应是原来视觉和语言的提示还能这样绑在一起。很多人第一次接触 CLIP 时都会被它的 zero-shot 能力震住——给定一个类别的文本描述不用训练就能做图像分类。但真正把它往下游任务上搬的时候才会发现“写提示词”这件事有多玄学模板稍微换几个词精度可能就差好几个点。MaPLe 解决的正是这个环节里最让人头疼的那部分怎么让视觉侧和文本侧在适配任务时保持步调一致而不是各改各的。我先从 CLIP 的基本机制说起。CLIP 是典型的双塔结构一个图像编码器负责把图片变成向量一个文本编码器负责把文字变成向量训练目标是对比学习让匹配的图像-文本对在向量空间里靠近不匹配的走远。做图像分类时不需要重新设计分类头只要把候选类别名填进一段模板里比如a photo of a {class}然后让文本编码器生成类别向量再和图像向量做相似度排序。问题在于这个模板并不是中性的它对语义空间的对齐结果影响极大。同样一个“dog”类别模板换成a photo of a {class}, a type of pet和直接写{class}得到的文本特征差别并不小。CLIP 的 zero-shot 能力其实强依赖“提示词怎么写”这就是它后续适配时要面对的第一个坎。1.1 CLIP 为什么能“看图说话”却不能“听懂要求”CLIP 之所以能看图说话是因为它把图像和文本塞进了同一个语义空间。在这个空间里“一张柯基的照片”对应的向量和图像编码器输出的柯基图片向量位置是靠近的。这个空间不是我们手动定义的而是通过数以亿计的图文对学出来的。也正是因为空间够大、语义够丰富它才能在没有见过某个具体类别训练样本的情况下仅凭文本描述完成分类。但它不能“听懂要求”的原因也很直接语义空间的对齐粒度未必符合你的下游任务。预训练阶段见过的文本形态大多是自然句子而下游任务往往需要某种领域的、带限定词的描述比如医学图像里的a histopathology slide of {class}卫星图里的a satellite image of {class}。这种差异导致同一个类别名在不同模板下的嵌入位置漂移分类边界也随之变化。换句话说CLIP 的零样本能力像是一把万能钥匙但锁孔形状变了钥匙也得跟着磨。如果每个任务都靠人类手工去试一堆模板成本不可控而且很难解释为什么某个模板更好。于是研究社区开始想能不能不写自然语言模板让模型自己学一组向量来代替模板1.2 从“手写提示词”到“连续提示”CoOp 走出的半步CoOpContext Optimization是最早一批把提示词变成可学习参数的工作之一。它的做法很直接在文本编码器的输入序列里插入若干个可训练的连续向量这些向量不是真实单词而是在嵌入空间里的“伪词”。有了少量标注数据之后只更新这些伪词CLIP 的 backbone 全部冻结。训练完用这组伪词替换掉原来的a photo of a就能在不同数据集上获得比手工模板更高的精度。这套思路在 prompt learning 里叫“连续提示”英文是 continuous prompt 或 soft prompt。它的好处是省掉了人工设计模板的环节而且参数量极小只有几千到几万个可学习参数训练很快。CoOp 的实验结果也很漂亮在不少数据集上能远超手工模板于是大家都开始往这个方向跟进。但 CoOp 有一个非常明显的局限它只动了文本分支图像分支完全冻结。也就是说图像编码器仍然用预训练时的逻辑提取特征完全没有感知到下游任务需要什么。文本提示改得再好也只能在最终的相似度匹配环节“将就”一下图像特征本身没有被任务信息引导。这就像两个人合作搬东西一个人调整了姿势另一个人还站在原地配合效率自然上不去。1.3 只动文本侧、只动输入层问题出在哪CoOp 的问题还可以拆成两层看。第一层是模态问题只优化文本提示本质上是在预训练对齐空间里做“检索词的调整”无法让视觉特征真正响应任务需求。第二层是深度问题CoOp 的提示只加在文本编码器的第一层输入处后面的 Transformer 层不会显式感知这组提示。信号经过很多层之后会被逐步冲淡这很像你在公司门口贴了一张任务便签传到最里面的研发组时已经被各种无关信息稀释得差不多了。后来 CoCoOp 做了一件事不再学习一组静态提示而是让提示根据每个输入样本动态生成也就是实例条件提示。它确实缓解了 CoOp 在 base-to-new 场景下新类精度下降的问题但本质上仍然是在文本分支上做文章视觉分支依旧没有获得独立的适配通道。所以当我在论文里看到 MaPLe 这种“两侧同时加提示、并且用耦合函数把两边绑起来”的思路时立刻意识到这才是真正把“多模态”三个字落到了提示学习里。2. MaPLe 的设计逻辑视觉和文本提示不再各玩各的MaPLe 的全称是 Multi-modal Prompt Learning读起来就是 maple和枫叶同音这个命名我当时觉得很巧。它的核心出发点很简单既然 CLIP 本身是多模态模型为什么做提示学习时只改文本侧如果视觉侧也能加提示并且两种提示之间存在明确的映射关系是不是就能让两个分支在每一层都协同适配MaPLe 的做法是在 CLIP 的每个 Transformer 层都插入一组提示。文本分支有自己的可学习提示视觉分支的提示不是单独随机初始化的而是由一个耦合函数从同层的文本提示映射出来。这样设计的意义是文本提示负责表达“任务该关注什么”视觉提示则被翻译成“图像特征该怎样微调”两者始终绑在同一条语义主线上。2.1 耦合函数是怎样把文本提示“翻译”给视觉分支的耦合函数是 MaPLe 里最关键的模块。假设第 l 层的文本提示是 (P_t^{(l)})视觉提示是 (P_v^{(l)})那么它们之间的关系可以写成[ P_v^{(l)} \mathcal{F}(P_t^{(l)}) ]这里的 (\mathcal{F}) 就是一个共享的轻量映射网络。原文里用的是一个很浅的多层感知机两层线性变换中间夹一个激活函数。这个网络在所有层之间共享没有为每一层单独准备一套大参数所以整体可学习参数仍然控制在很小的量级。为了让你更好理解它在实际 forward 过程中做了什么我画一段概念伪代码注意这不是官方源码只是帮助理解结构# 每层各维护一组文本提示视觉提示由耦合函数生成 text_prompts nn.Parameter(torch.randn(num_layers, num_prompts, dim)) coupling_fn nn.Sequential( nn.Linear(dim, dim), nn.ReLU(), nn.Linear(dim, dim), ) for layer_idx in range(num_layers): tp text_prompts[layer_idx] # [num_prompts, dim] vp coupling_fn(tp) # [num_prompts, dim] hidden_text text_block(hidden_text, prompttp) hidden_visual visual_block(hidden_visual, promptvp)你可能会问为什么只从文本侧映射到视觉侧而不是反过来或者双向映射我的理解是文本侧的信息密度更高语义表达更集中视觉侧的特征更冗余包含大量背景、纹理和结构信息。让文本侧充当“语义向导”再通过耦合函数把向导信号翻译给视觉侧是一种更省参数的方案。双向映射当然可以但参数量和训练难度都会上升不一定划算。2.2 每一层都插提示为什么比只在输入层插更有效Transformer 模型是逐层加工信息的每一层都在前一层的基础上做特征变换。你只在第一层插入提示后面的层仍然按照预训练时的参数来处理这些被修改过的特征适配信号很容易在层层传递中被“拉回原样”。MaPLe 的做法是每一层都给一个小的修正项让整个网络从底层到顶层都走在任务适配的新路径上而不是只在一开始拐个弯。这个设计有点像给一栋老楼做翻新。如果你只在门口放一张新的导览图内部房间的格局没有任何改变客人进到里面还是很容易迷路但如果你每一层走廊都安排一个引导员整个动线就会顺畅很多。视觉和文本两侧每层都有提示相当于两个分支在每一层都有人负责对齐语义而不是等到最后算相似度时才见面。提示深度是一个需要仔细选的超参数。不是层数越多越好加满 12 层不一定比加 9 层更好。因为后面层已经非常接近任务输出过强的提示反而可能干扰最终分类头。论文里通常把提示深度作为消融实验的重要变量我的建议是先从中间深度开始试。2.3 共享耦合网络用小参数撬动深层适配如果每一层都独立学文本提示和视觉提示而且两组提示之间没有关系那参数量会随着层数线性上涨。更重要的是两组提示各自漂移最终可能造成文本分支说“这是猫”视觉分支却在按“狗”的方向提取特征。MaPLe 的耦合约束本质上是一种正则视觉提示必须由文本提示经过同一个函数映射而来所以两个分支的语义不会散掉。参数效率方面MaPLe 增加的主要参数来自每层的文本提示。耦合函数本身是一个共享的浅层网络参数占比很小。和全量微调 CLIP 相比它要更新的参数少了几个数量级和那些每层独立学习大映射的方法相比它又明显更克制。这也是为什么它能用较少的样本完成任务适配同时保持较好的泛化能力。3. 从零复现 MaPLe环境准备、训练命令与实测参数理论上的设计再漂亮最终还是要落到代码和实验上。我最初复现 MaPLe 时也踩了不少坑这里把完整流程和关键参数整理出来你可以直接当一份操作手册用。3.1 环境依赖和代码获取MaPLe 官方实现基于 PyTorch代码仓库名是 multimodal-prompt-learning。我建议用一个干净的 conda 环境避免和已有项目冲突git clone https://github.com/muzairkhattak/multimodal-prompt-learning.git cd multimodal-prompt-learning conda create -n maple python3.8 -y conda activate maple pip install torch1.12.0 torchvision0.13.0 pip install -r requirements.txt需要注意 PyTorch 版本和 CUDA 版本的匹配。如果你本机 CUDA 是 11.x上面这组版本通常没问题如果是更新的显卡可以适当升级 PyTorch但要注意 CLIP 相关依赖的兼容性。我最初就在这上面浪费了半天装完 CLIP 库后发现 torchvision 版本不匹配图像预处理接口直接报错。3.2 数据集组织与预训练权重放置官方实验常用的数据集包括 ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101。这些数据集的目录结构需要按类别子文件夹组织并且要有一个class_names.txt文件记录类别名顺序。一个典型的目录结构是这样的data/ imagenet/ class_names.txt train/ class_a/ xxx.jpg class_b/ yyy.jpg val/ class_a/ zzz.jpgCLIP 的预训练权重不需要手动下载程序首次运行时会自动缓存到~/.cache/clip。如果你在离线环境跑需要提前把权重文件放好。这个细节很容易被忽略我第一次在服务器上跑的时候就因为网络权限问题卡在权重下载后来手动拷贝权重才解决。3.3 训练流程与关键参数字段官方代码通过 yaml 配置来切换数据集和超参数。我在训练前会重点看这几个字段prompt_length文本提示的 token 数量常见设置为 20。prompt_depth在多少层 Transformer 中插入提示常见设置在 6 到 12 之间。fewshot_seed随机种子决定从训练集中采样哪些样本论文复现时必须保持一致。lr、epochs、batch_size训练超参数需要根据显卡显存调整。训练命令很简单python train.py --config configs/imagenet.yaml如果是单卡 24G 显存batch size 默认值有可能直接爆显存。我的做法是先跑一个小数据集验证代码通路比如 Caltech101把 batch size 调小然后逐步放大。梯度累积可以在不牺牲有效 batch size 的情况下降低单卡显存压力但要注意自动混合精度下的累积步数设置。3.4 评估脚本与结果检查训练完成后使用评估脚本python eval.py --config configs/imagenet.yaml输出通常会包括 base accuracy、new accuracy 和两者的 harmonic mean。base-to-new 是这套方法最常用的评测协议在基类上训练然后分别评估见过的基类和没见过的新类。运行评估前要确认配置里的数据集路径和训练时的路径一致否则容易出现类别名错位导致结果异常低。我第一次复现时评估阶段的准确率比论文低了一大截排查了很久才发现是配置文件里dataset字段没切到对应的数据集实际加载的图片是另一套数据。这种低级错误在实验管理不规范的时候特别容易发生。3.5 复现里最容易翻车的三个细节根据我的经验有三个坑你大概率会遇到。第一个是类别名和图片文件夹的顺序对不上。class_names.txt必须和数据文件夹的排序一致否则你模型学的类别和标签根本不是一个东西。很多数据集下载后文件夹顺序是乱的建议写个小脚本统一排序并校验。第二个是随机种子不一致。提示向量是随机初始化的初始位置对最终结果影响很大。官方论文报告的是多次 seed 的平均结果你只跑一次 seed 可能看到上下波动。所以做对比实验时必须保证所有方法用同一组 seed。第三个是显存和训练时长。因为每层都插入提示显存占用比 CoOp 这类只在输入层加提示的方法更高。建议先用prompt_depth6跑通流程再根据显存余量往上加。全深度提示跑 ImageNet 需要的时间不短别开太多并行实验把机器压垮。4. 在公开基准上MaPLe 到底赢在哪我在这里不打算堆一整张论文的精确数字因为每台机器的复现结果会有浮动而且不同版本代码也会带来差异。我更想说的是MaPLe 在公开基准上那几个方向的提升分别对应怎样的能力变化。4.1 Base-to-New新类别上的提升为什么最关键Base-to-New 是视觉语言模型适配任务里很重要的评测方式。做法是先把数据集的类别分成两份一份作为 base class 用于训练另一份作为 new class 完全不参与训练。训练完用提示向量去分类这两批类别。理想状态下模型在 base class 上保持高精度在 new class 上也有不错的泛化能力。CoOp 的一个痛点是它会“偏科”在 base class 上精度提升明显但 new class 上的表现甚至不如 zero-shot。CoCoOp 通过在推理时动态生成提示缓解了这个问题。MaPLe 则走得更远因为视觉和文本两侧在每一层都有耦合提示模型学到的不只是某一组类别的“表面特征”而是一种更通用的任务适配方式所以在 new class 上的表现往往更稳。实际跑下来我的感受是 MaPLe 在细粒度数据集上的优势更明显比如 StanfordCars、FGVCAircraft 这些类别之间差异很小的数据集。原因很可能是深度耦合提示让视觉特征在层级传递过程中保持了更细粒度的判别信息而浅层文本提示很难做到这一点。4.2 跨数据集迁移和域偏移泛化能力的真实考验Base-to-New 考察的是同一数据集的类别泛化跨数据集迁移则更狠在 ImageNet 上训练 prompt然后直接拿到另外十个数据集上做 zero-shot 推理。这要求提示学到的不是“ImageNet 里这些类长什么样”而是“如何根据文本描述提取通用判别特征”。MaPLe 在这类评测里的表现通常优于 CoOp 和 CoCoOp原因和深度耦合有关。文本提示在每层都被映射成视觉提示等于图像编码器从底层开始就接收了任务指引最终学到的特征更具迁移性。域偏移测试也是同理比如把 ImageNet 训练好的 prompt 用在 ImageNetV2、ImageNet-Sketch 上MaPLe 的表现也比较稳定。但要注意跨数据集迁移不是万能的。如果目标域和预训练域差异太大比如从自然图像迁移到医学影像或工业质检图像单靠 prompt 修正是不够的。这种时候我会考虑结合 LoRA 或 Adapter做更重的参数高效微调。4.3 消融实验中的耦合约束独立提示为何不如耦合提示看论文时最值得关注的其实是消融实验。如果只是“两边都加提示”那完全可以设计成视觉提示和文本提示各自独立随机初始化、各自训练。理论上这种方案参数量更大模型容量更高效果应该更好。但结果往往相反独立提示的效果不如耦合提示。原因是多模态对齐需要一致性。独立提示在训练时各自朝着“让自己分支的损失下降”的方向走缺少跨模态约束最后可能在各自分支上看起来都不错但文本特征和视觉特征在语义上对不上。耦合函数相当于给两组提示加了一个强先验视觉提示可以理解为文本提示经过翻译后的结果两者必须共享语义来源。这也说明了 MaPLe 的核心贡献不是“多模态提示”而是“耦合的多模态提示”。前者只是数量上的堆叠后者才是结构上的协同。5. 实战经验调参顺序、训练稳定性与适用边界代码能跑通只是第一步要把 MaPLe 用到自己的业务或研究里还需要掌握调参和诊断问题的能力。这一节是我在实践中总结出来的经验不保证放之四海而皆准但大概率能帮你少走弯路。5.1 提示长度和 Depth 怎么配先固定谁我的调参顺序是先固定提示长度 20调整提示深度。深度从 6 开始跑到 9再到 12观察验证集精度的变化。深度带来的提升通常会先涨后平如果到 12 已经不再涨就没必要再加了。固定深度之后再调整提示长度。长度太长意味着可学习参数变多训练数据少时容易过拟合太短则表达力不足难以承载复杂任务的语义。如果是数据量很小的任务我建议提示长度控制在 4 到 12 之间。不要一上来就 Copy 论文里的 20因为论文的实验通常是在完整基准数据集上做的你的数据规模不一定匹配。我在一个只有几百张样本的业务数据集上试过长度 8 的效果反而比长度 20 好两三个点。5.2 学习率、优化器和随机种子对结果的影响提示向量的初始值在嵌入空间里它的优化行为和普通分类头不太一样。学习率太大会让提示向量剧烈漂移甚至跑出预训练嵌入空间的合理区域学习率太小又会让收敛速度变得非常慢。我的经验是初始学习率从 1e-3 开始观察 loss 曲线的变化再微调。如果发现训练集精度持续上升但验证集或 new class 精度下降这是典型的过拟合信号。优先降低学习率其次增加权重衰减再不行就减少提示长度或提示深度。不要一开始就加大训练轮数提示学习的收敛速度通常很快更多轮数不一定带来更好泛化。随机种子同样不能忽视。提示向量初始化位置不同最终可能收敛到不同的局部最优。跑对比实验时一定要固定种子并且尽量跑多个种子取平均。我见过同一个配置只换种子精度波动超过一个点的情况这已经足以影响方法之间谁强谁弱的判断了。5.3 什么业务场景适合直接上 MaPLe如果你的目标是在 CLIP 预训练模型上快速适配一个分类任务且标注样本不多MaPLe 是一个很合适的起点。它保留了 CLIP 的泛化能力不需要修改 backbone训练开销小最终产出的模型也容易部署。如果任务要求跨类别泛化比如系统随时会新增类别你又不想每次新增类别都重新训练MaPLe 的 base-to-new 能力会很值钱。线上可以先在已有类别上训练一组 prompt新类别来了直接通过文本编码器加入候选集视觉 prompt 仍然可以保持任务级适配。但如果你的下游数据和自然图像差异非常大或者标注样本足够多我建议不要死磕 prompt learning。提示能调整的空间毕竟有限LoRA、Adapter 甚至全量微调在复杂任务上的上限更高。我在工业视觉项目里遇到过类似情况prompt 调到极限还是差几个点换成 LoRA 后精度立刻上去了。选型时要先评估任务和预训练分布的差距而不是盲目跟风某个新方法。6. 从 MaPLe 往后看多模态提示学习还能往哪走MaPLe 的框架并不复杂但它的价值在于提出了一个很关键的视角多模态提示的关键不在“两边都有”而在“两边如何联系”。这个视角可以继续延伸出很多方向。6.1 耦合函数的表达能力上限目前 MaPLe 用的耦合函数是一个共享的浅层网络优点是参数少、训练稳定。但缺点也很明显一层线性加非线性的表达能力有限可能无法建模更复杂的跨模态互动。后续工作可以考虑把耦合函数换成注意力机制比如让视觉提示通过 cross-attention 从文本提示中聚合信息。不过提升表达力的同时要小心参数膨胀和过拟合这个平衡点是这类方法下一步要解决的核心问题。另外耦合函数的共享方式也值得推敲。现在所有层共享同一个网络好处是参数少但不同层需要的“翻译”粒度可能不同。底层更关注局部纹理顶层更关注语义结构一个统一的映射函数不一定是最优解。按层分组共享或者让耦合函数接收层编号作为条件输入都是可以尝试的方向。6.2 与 LoRA/Adapter 等高效微调方法的共存MaPLe 的提示加在 Transformer 的输入序列上LoRA 加在注意力矩阵的权重更新上Adapter 加在 FFN 之后。这三类参数高效微调方法并不冲突完全可以叠加使用。我在实验中尝试过把 LoRA 和 MaPLe 结合结果是有些任务进一步涨点但训练稳定性需要重新调。叠加得多了可训练参数变多过拟合风险也跟着上来需要配套更强的正则化。这个方向的实际意义在于当多模态预训练模型越来越大完整的全量微调成本会越来越离谱。提示学习、LoRA、Adapter 这些方法各自捕获模型的不同侧面把它们组合成一套“手术刀式”的适配方案可能是未来更务实的做法。6.3 扩展到视频、点云与统一多模态模型MaPLe 的“层级耦合多模态提示”思路并不局限于图像-文本。视频-语言模型同样有多分支结构可以在视频分支和文本分支里分别插入提示并用耦合函数让文本提示指导视频特征的时空适配点云-语言模型也可以做类似设计让文本提示引导点云编码器关注哪些几何结构。更广泛地说任何“多个编码器 共同语义空间”的模型都可以考虑用多模态提示来替代或补充传统的微调方式。提示学习的优雅之处在于它不改变预训练模型本身只注入少量可学习上下文这种范式对超大模型尤其有吸引力。如果你正准备在 CLIP 类模型上做下游适配我的建议是把 MaPLe 当作一个标准 baseline先在它上面跑通流程再根据自己的数据和任务决定是否往更重的微调方向走。先用小数据集快速验证再逐步放大是成本最低的试错路径。以上是我在实际使用中总结下来最值得注意的经验希望能帮你在复现和应用的路上少踩几个坑。
多模态提示学习MaPLe：耦合视觉文本提示，高效适配CLIP下游任务
1. 为什么多模态微调这么费劲从CLIP的“预设模板”说起如果要在多模态模型微调这个方向里挑一个让我印象最深的代表MaPLe 肯定排前三。刚读完《MaPLe: Multi-modal Prompt Learning》这篇论文时我第一反应是原来视觉和语言的提示还能这样绑在一起。很多人第一次接触 CLIP 时都会被它的 zero-shot 能力震住——给定一个类别的文本描述不用训练就能做图像分类。但真正把它往下游任务上搬的时候才会发现“写提示词”这件事有多玄学模板稍微换几个词精度可能就差好几个点。MaPLe 解决的正是这个环节里最让人头疼的那部分怎么让视觉侧和文本侧在适配任务时保持步调一致而不是各改各的。我先从 CLIP 的基本机制说起。CLIP 是典型的双塔结构一个图像编码器负责把图片变成向量一个文本编码器负责把文字变成向量训练目标是对比学习让匹配的图像-文本对在向量空间里靠近不匹配的走远。做图像分类时不需要重新设计分类头只要把候选类别名填进一段模板里比如a photo of a {class}然后让文本编码器生成类别向量再和图像向量做相似度排序。问题在于这个模板并不是中性的它对语义空间的对齐结果影响极大。同样一个“dog”类别模板换成a photo of a {class}, a type of pet和直接写{class}得到的文本特征差别并不小。CLIP 的 zero-shot 能力其实强依赖“提示词怎么写”这就是它后续适配时要面对的第一个坎。1.1 CLIP 为什么能“看图说话”却不能“听懂要求”CLIP 之所以能看图说话是因为它把图像和文本塞进了同一个语义空间。在这个空间里“一张柯基的照片”对应的向量和图像编码器输出的柯基图片向量位置是靠近的。这个空间不是我们手动定义的而是通过数以亿计的图文对学出来的。也正是因为空间够大、语义够丰富它才能在没有见过某个具体类别训练样本的情况下仅凭文本描述完成分类。但它不能“听懂要求”的原因也很直接语义空间的对齐粒度未必符合你的下游任务。预训练阶段见过的文本形态大多是自然句子而下游任务往往需要某种领域的、带限定词的描述比如医学图像里的a histopathology slide of {class}卫星图里的a satellite image of {class}。这种差异导致同一个类别名在不同模板下的嵌入位置漂移分类边界也随之变化。换句话说CLIP 的零样本能力像是一把万能钥匙但锁孔形状变了钥匙也得跟着磨。如果每个任务都靠人类手工去试一堆模板成本不可控而且很难解释为什么某个模板更好。于是研究社区开始想能不能不写自然语言模板让模型自己学一组向量来代替模板1.2 从“手写提示词”到“连续提示”CoOp 走出的半步CoOpContext Optimization是最早一批把提示词变成可学习参数的工作之一。它的做法很直接在文本编码器的输入序列里插入若干个可训练的连续向量这些向量不是真实单词而是在嵌入空间里的“伪词”。有了少量标注数据之后只更新这些伪词CLIP 的 backbone 全部冻结。训练完用这组伪词替换掉原来的a photo of a就能在不同数据集上获得比手工模板更高的精度。这套思路在 prompt learning 里叫“连续提示”英文是 continuous prompt 或 soft prompt。它的好处是省掉了人工设计模板的环节而且参数量极小只有几千到几万个可学习参数训练很快。CoOp 的实验结果也很漂亮在不少数据集上能远超手工模板于是大家都开始往这个方向跟进。但 CoOp 有一个非常明显的局限它只动了文本分支图像分支完全冻结。也就是说图像编码器仍然用预训练时的逻辑提取特征完全没有感知到下游任务需要什么。文本提示改得再好也只能在最终的相似度匹配环节“将就”一下图像特征本身没有被任务信息引导。这就像两个人合作搬东西一个人调整了姿势另一个人还站在原地配合效率自然上不去。1.3 只动文本侧、只动输入层问题出在哪CoOp 的问题还可以拆成两层看。第一层是模态问题只优化文本提示本质上是在预训练对齐空间里做“检索词的调整”无法让视觉特征真正响应任务需求。第二层是深度问题CoOp 的提示只加在文本编码器的第一层输入处后面的 Transformer 层不会显式感知这组提示。信号经过很多层之后会被逐步冲淡这很像你在公司门口贴了一张任务便签传到最里面的研发组时已经被各种无关信息稀释得差不多了。后来 CoCoOp 做了一件事不再学习一组静态提示而是让提示根据每个输入样本动态生成也就是实例条件提示。它确实缓解了 CoOp 在 base-to-new 场景下新类精度下降的问题但本质上仍然是在文本分支上做文章视觉分支依旧没有获得独立的适配通道。所以当我在论文里看到 MaPLe 这种“两侧同时加提示、并且用耦合函数把两边绑起来”的思路时立刻意识到这才是真正把“多模态”三个字落到了提示学习里。2. MaPLe 的设计逻辑视觉和文本提示不再各玩各的MaPLe 的全称是 Multi-modal Prompt Learning读起来就是 maple和枫叶同音这个命名我当时觉得很巧。它的核心出发点很简单既然 CLIP 本身是多模态模型为什么做提示学习时只改文本侧如果视觉侧也能加提示并且两种提示之间存在明确的映射关系是不是就能让两个分支在每一层都协同适配MaPLe 的做法是在 CLIP 的每个 Transformer 层都插入一组提示。文本分支有自己的可学习提示视觉分支的提示不是单独随机初始化的而是由一个耦合函数从同层的文本提示映射出来。这样设计的意义是文本提示负责表达“任务该关注什么”视觉提示则被翻译成“图像特征该怎样微调”两者始终绑在同一条语义主线上。2.1 耦合函数是怎样把文本提示“翻译”给视觉分支的耦合函数是 MaPLe 里最关键的模块。假设第 l 层的文本提示是 (P_t^{(l)})视觉提示是 (P_v^{(l)})那么它们之间的关系可以写成[ P_v^{(l)} \mathcal{F}(P_t^{(l)}) ]这里的 (\mathcal{F}) 就是一个共享的轻量映射网络。原文里用的是一个很浅的多层感知机两层线性变换中间夹一个激活函数。这个网络在所有层之间共享没有为每一层单独准备一套大参数所以整体可学习参数仍然控制在很小的量级。为了让你更好理解它在实际 forward 过程中做了什么我画一段概念伪代码注意这不是官方源码只是帮助理解结构# 每层各维护一组文本提示视觉提示由耦合函数生成 text_prompts nn.Parameter(torch.randn(num_layers, num_prompts, dim)) coupling_fn nn.Sequential( nn.Linear(dim, dim), nn.ReLU(), nn.Linear(dim, dim), ) for layer_idx in range(num_layers): tp text_prompts[layer_idx] # [num_prompts, dim] vp coupling_fn(tp) # [num_prompts, dim] hidden_text text_block(hidden_text, prompttp) hidden_visual visual_block(hidden_visual, promptvp)你可能会问为什么只从文本侧映射到视觉侧而不是反过来或者双向映射我的理解是文本侧的信息密度更高语义表达更集中视觉侧的特征更冗余包含大量背景、纹理和结构信息。让文本侧充当“语义向导”再通过耦合函数把向导信号翻译给视觉侧是一种更省参数的方案。双向映射当然可以但参数量和训练难度都会上升不一定划算。2.2 每一层都插提示为什么比只在输入层插更有效Transformer 模型是逐层加工信息的每一层都在前一层的基础上做特征变换。你只在第一层插入提示后面的层仍然按照预训练时的参数来处理这些被修改过的特征适配信号很容易在层层传递中被“拉回原样”。MaPLe 的做法是每一层都给一个小的修正项让整个网络从底层到顶层都走在任务适配的新路径上而不是只在一开始拐个弯。这个设计有点像给一栋老楼做翻新。如果你只在门口放一张新的导览图内部房间的格局没有任何改变客人进到里面还是很容易迷路但如果你每一层走廊都安排一个引导员整个动线就会顺畅很多。视觉和文本两侧每层都有提示相当于两个分支在每一层都有人负责对齐语义而不是等到最后算相似度时才见面。提示深度是一个需要仔细选的超参数。不是层数越多越好加满 12 层不一定比加 9 层更好。因为后面层已经非常接近任务输出过强的提示反而可能干扰最终分类头。论文里通常把提示深度作为消融实验的重要变量我的建议是先从中间深度开始试。2.3 共享耦合网络用小参数撬动深层适配如果每一层都独立学文本提示和视觉提示而且两组提示之间没有关系那参数量会随着层数线性上涨。更重要的是两组提示各自漂移最终可能造成文本分支说“这是猫”视觉分支却在按“狗”的方向提取特征。MaPLe 的耦合约束本质上是一种正则视觉提示必须由文本提示经过同一个函数映射而来所以两个分支的语义不会散掉。参数效率方面MaPLe 增加的主要参数来自每层的文本提示。耦合函数本身是一个共享的浅层网络参数占比很小。和全量微调 CLIP 相比它要更新的参数少了几个数量级和那些每层独立学习大映射的方法相比它又明显更克制。这也是为什么它能用较少的样本完成任务适配同时保持较好的泛化能力。3. 从零复现 MaPLe环境准备、训练命令与实测参数理论上的设计再漂亮最终还是要落到代码和实验上。我最初复现 MaPLe 时也踩了不少坑这里把完整流程和关键参数整理出来你可以直接当一份操作手册用。3.1 环境依赖和代码获取MaPLe 官方实现基于 PyTorch代码仓库名是 multimodal-prompt-learning。我建议用一个干净的 conda 环境避免和已有项目冲突git clone https://github.com/muzairkhattak/multimodal-prompt-learning.git cd multimodal-prompt-learning conda create -n maple python3.8 -y conda activate maple pip install torch1.12.0 torchvision0.13.0 pip install -r requirements.txt需要注意 PyTorch 版本和 CUDA 版本的匹配。如果你本机 CUDA 是 11.x上面这组版本通常没问题如果是更新的显卡可以适当升级 PyTorch但要注意 CLIP 相关依赖的兼容性。我最初就在这上面浪费了半天装完 CLIP 库后发现 torchvision 版本不匹配图像预处理接口直接报错。3.2 数据集组织与预训练权重放置官方实验常用的数据集包括 ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101。这些数据集的目录结构需要按类别子文件夹组织并且要有一个class_names.txt文件记录类别名顺序。一个典型的目录结构是这样的data/ imagenet/ class_names.txt train/ class_a/ xxx.jpg class_b/ yyy.jpg val/ class_a/ zzz.jpgCLIP 的预训练权重不需要手动下载程序首次运行时会自动缓存到~/.cache/clip。如果你在离线环境跑需要提前把权重文件放好。这个细节很容易被忽略我第一次在服务器上跑的时候就因为网络权限问题卡在权重下载后来手动拷贝权重才解决。3.3 训练流程与关键参数字段官方代码通过 yaml 配置来切换数据集和超参数。我在训练前会重点看这几个字段prompt_length文本提示的 token 数量常见设置为 20。prompt_depth在多少层 Transformer 中插入提示常见设置在 6 到 12 之间。fewshot_seed随机种子决定从训练集中采样哪些样本论文复现时必须保持一致。lr、epochs、batch_size训练超参数需要根据显卡显存调整。训练命令很简单python train.py --config configs/imagenet.yaml如果是单卡 24G 显存batch size 默认值有可能直接爆显存。我的做法是先跑一个小数据集验证代码通路比如 Caltech101把 batch size 调小然后逐步放大。梯度累积可以在不牺牲有效 batch size 的情况下降低单卡显存压力但要注意自动混合精度下的累积步数设置。3.4 评估脚本与结果检查训练完成后使用评估脚本python eval.py --config configs/imagenet.yaml输出通常会包括 base accuracy、new accuracy 和两者的 harmonic mean。base-to-new 是这套方法最常用的评测协议在基类上训练然后分别评估见过的基类和没见过的新类。运行评估前要确认配置里的数据集路径和训练时的路径一致否则容易出现类别名错位导致结果异常低。我第一次复现时评估阶段的准确率比论文低了一大截排查了很久才发现是配置文件里dataset字段没切到对应的数据集实际加载的图片是另一套数据。这种低级错误在实验管理不规范的时候特别容易发生。3.5 复现里最容易翻车的三个细节根据我的经验有三个坑你大概率会遇到。第一个是类别名和图片文件夹的顺序对不上。class_names.txt必须和数据文件夹的排序一致否则你模型学的类别和标签根本不是一个东西。很多数据集下载后文件夹顺序是乱的建议写个小脚本统一排序并校验。第二个是随机种子不一致。提示向量是随机初始化的初始位置对最终结果影响很大。官方论文报告的是多次 seed 的平均结果你只跑一次 seed 可能看到上下波动。所以做对比实验时必须保证所有方法用同一组 seed。第三个是显存和训练时长。因为每层都插入提示显存占用比 CoOp 这类只在输入层加提示的方法更高。建议先用prompt_depth6跑通流程再根据显存余量往上加。全深度提示跑 ImageNet 需要的时间不短别开太多并行实验把机器压垮。4. 在公开基准上MaPLe 到底赢在哪我在这里不打算堆一整张论文的精确数字因为每台机器的复现结果会有浮动而且不同版本代码也会带来差异。我更想说的是MaPLe 在公开基准上那几个方向的提升分别对应怎样的能力变化。4.1 Base-to-New新类别上的提升为什么最关键Base-to-New 是视觉语言模型适配任务里很重要的评测方式。做法是先把数据集的类别分成两份一份作为 base class 用于训练另一份作为 new class 完全不参与训练。训练完用提示向量去分类这两批类别。理想状态下模型在 base class 上保持高精度在 new class 上也有不错的泛化能力。CoOp 的一个痛点是它会“偏科”在 base class 上精度提升明显但 new class 上的表现甚至不如 zero-shot。CoCoOp 通过在推理时动态生成提示缓解了这个问题。MaPLe 则走得更远因为视觉和文本两侧在每一层都有耦合提示模型学到的不只是某一组类别的“表面特征”而是一种更通用的任务适配方式所以在 new class 上的表现往往更稳。实际跑下来我的感受是 MaPLe 在细粒度数据集上的优势更明显比如 StanfordCars、FGVCAircraft 这些类别之间差异很小的数据集。原因很可能是深度耦合提示让视觉特征在层级传递过程中保持了更细粒度的判别信息而浅层文本提示很难做到这一点。4.2 跨数据集迁移和域偏移泛化能力的真实考验Base-to-New 考察的是同一数据集的类别泛化跨数据集迁移则更狠在 ImageNet 上训练 prompt然后直接拿到另外十个数据集上做 zero-shot 推理。这要求提示学到的不是“ImageNet 里这些类长什么样”而是“如何根据文本描述提取通用判别特征”。MaPLe 在这类评测里的表现通常优于 CoOp 和 CoCoOp原因和深度耦合有关。文本提示在每层都被映射成视觉提示等于图像编码器从底层开始就接收了任务指引最终学到的特征更具迁移性。域偏移测试也是同理比如把 ImageNet 训练好的 prompt 用在 ImageNetV2、ImageNet-Sketch 上MaPLe 的表现也比较稳定。但要注意跨数据集迁移不是万能的。如果目标域和预训练域差异太大比如从自然图像迁移到医学影像或工业质检图像单靠 prompt 修正是不够的。这种时候我会考虑结合 LoRA 或 Adapter做更重的参数高效微调。4.3 消融实验中的耦合约束独立提示为何不如耦合提示看论文时最值得关注的其实是消融实验。如果只是“两边都加提示”那完全可以设计成视觉提示和文本提示各自独立随机初始化、各自训练。理论上这种方案参数量更大模型容量更高效果应该更好。但结果往往相反独立提示的效果不如耦合提示。原因是多模态对齐需要一致性。独立提示在训练时各自朝着“让自己分支的损失下降”的方向走缺少跨模态约束最后可能在各自分支上看起来都不错但文本特征和视觉特征在语义上对不上。耦合函数相当于给两组提示加了一个强先验视觉提示可以理解为文本提示经过翻译后的结果两者必须共享语义来源。这也说明了 MaPLe 的核心贡献不是“多模态提示”而是“耦合的多模态提示”。前者只是数量上的堆叠后者才是结构上的协同。5. 实战经验调参顺序、训练稳定性与适用边界代码能跑通只是第一步要把 MaPLe 用到自己的业务或研究里还需要掌握调参和诊断问题的能力。这一节是我在实践中总结出来的经验不保证放之四海而皆准但大概率能帮你少走弯路。5.1 提示长度和 Depth 怎么配先固定谁我的调参顺序是先固定提示长度 20调整提示深度。深度从 6 开始跑到 9再到 12观察验证集精度的变化。深度带来的提升通常会先涨后平如果到 12 已经不再涨就没必要再加了。固定深度之后再调整提示长度。长度太长意味着可学习参数变多训练数据少时容易过拟合太短则表达力不足难以承载复杂任务的语义。如果是数据量很小的任务我建议提示长度控制在 4 到 12 之间。不要一上来就 Copy 论文里的 20因为论文的实验通常是在完整基准数据集上做的你的数据规模不一定匹配。我在一个只有几百张样本的业务数据集上试过长度 8 的效果反而比长度 20 好两三个点。5.2 学习率、优化器和随机种子对结果的影响提示向量的初始值在嵌入空间里它的优化行为和普通分类头不太一样。学习率太大会让提示向量剧烈漂移甚至跑出预训练嵌入空间的合理区域学习率太小又会让收敛速度变得非常慢。我的经验是初始学习率从 1e-3 开始观察 loss 曲线的变化再微调。如果发现训练集精度持续上升但验证集或 new class 精度下降这是典型的过拟合信号。优先降低学习率其次增加权重衰减再不行就减少提示长度或提示深度。不要一开始就加大训练轮数提示学习的收敛速度通常很快更多轮数不一定带来更好泛化。随机种子同样不能忽视。提示向量初始化位置不同最终可能收敛到不同的局部最优。跑对比实验时一定要固定种子并且尽量跑多个种子取平均。我见过同一个配置只换种子精度波动超过一个点的情况这已经足以影响方法之间谁强谁弱的判断了。5.3 什么业务场景适合直接上 MaPLe如果你的目标是在 CLIP 预训练模型上快速适配一个分类任务且标注样本不多MaPLe 是一个很合适的起点。它保留了 CLIP 的泛化能力不需要修改 backbone训练开销小最终产出的模型也容易部署。如果任务要求跨类别泛化比如系统随时会新增类别你又不想每次新增类别都重新训练MaPLe 的 base-to-new 能力会很值钱。线上可以先在已有类别上训练一组 prompt新类别来了直接通过文本编码器加入候选集视觉 prompt 仍然可以保持任务级适配。但如果你的下游数据和自然图像差异非常大或者标注样本足够多我建议不要死磕 prompt learning。提示能调整的空间毕竟有限LoRA、Adapter 甚至全量微调在复杂任务上的上限更高。我在工业视觉项目里遇到过类似情况prompt 调到极限还是差几个点换成 LoRA 后精度立刻上去了。选型时要先评估任务和预训练分布的差距而不是盲目跟风某个新方法。6. 从 MaPLe 往后看多模态提示学习还能往哪走MaPLe 的框架并不复杂但它的价值在于提出了一个很关键的视角多模态提示的关键不在“两边都有”而在“两边如何联系”。这个视角可以继续延伸出很多方向。6.1 耦合函数的表达能力上限目前 MaPLe 用的耦合函数是一个共享的浅层网络优点是参数少、训练稳定。但缺点也很明显一层线性加非线性的表达能力有限可能无法建模更复杂的跨模态互动。后续工作可以考虑把耦合函数换成注意力机制比如让视觉提示通过 cross-attention 从文本提示中聚合信息。不过提升表达力的同时要小心参数膨胀和过拟合这个平衡点是这类方法下一步要解决的核心问题。另外耦合函数的共享方式也值得推敲。现在所有层共享同一个网络好处是参数少但不同层需要的“翻译”粒度可能不同。底层更关注局部纹理顶层更关注语义结构一个统一的映射函数不一定是最优解。按层分组共享或者让耦合函数接收层编号作为条件输入都是可以尝试的方向。6.2 与 LoRA/Adapter 等高效微调方法的共存MaPLe 的提示加在 Transformer 的输入序列上LoRA 加在注意力矩阵的权重更新上Adapter 加在 FFN 之后。这三类参数高效微调方法并不冲突完全可以叠加使用。我在实验中尝试过把 LoRA 和 MaPLe 结合结果是有些任务进一步涨点但训练稳定性需要重新调。叠加得多了可训练参数变多过拟合风险也跟着上来需要配套更强的正则化。这个方向的实际意义在于当多模态预训练模型越来越大完整的全量微调成本会越来越离谱。提示学习、LoRA、Adapter 这些方法各自捕获模型的不同侧面把它们组合成一套“手术刀式”的适配方案可能是未来更务实的做法。6.3 扩展到视频、点云与统一多模态模型MaPLe 的“层级耦合多模态提示”思路并不局限于图像-文本。视频-语言模型同样有多分支结构可以在视频分支和文本分支里分别插入提示并用耦合函数让文本提示指导视频特征的时空适配点云-语言模型也可以做类似设计让文本提示引导点云编码器关注哪些几何结构。更广泛地说任何“多个编码器 共同语义空间”的模型都可以考虑用多模态提示来替代或补充传统的微调方式。提示学习的优雅之处在于它不改变预训练模型本身只注入少量可学习上下文这种范式对超大模型尤其有吸引力。如果你正准备在 CLIP 类模型上做下游适配我的建议是把 MaPLe 当作一个标准 baseline先在它上面跑通流程再根据自己的数据和任务决定是否往更重的微调方向走。先用小数据集快速验证再逐步放大是成本最低的试错路径。以上是我在实际使用中总结下来最值得注意的经验希望能帮你在复现和应用的路上少踩几个坑。
