单分支BEV编码器是什么？带你一步一步看懂多模态混合训练抗损坏原理

单分支BEV编码器是什么？5分钟看懂多模态混合训练抗损坏原理

痛点：多模态融合"一坏全坏"

自动驾驶同时用摄像头和激光雷达看世界。BEVFusion是经典融合方案——把Camera和LiDAR的特征分别投影到BEV（鸟瞰图）空间，拼接（concat）后送入BEV编码器做3D检测。但BEVFusion有个致命缺陷：两路特征在拼接时硬绑定在一起，缺一路就全崩。

数字触目惊心：BEVFusion双模态完好时mAP 0.6691，但Camera被挡住只剩LiDAR时，mAP 0.0109——几乎完全瞎了。不是模型差，是架构根本不允许"只用一路"。

这就是SB-BEVFusion（JKU林茨等，ICIP 2026）要解决的问题。

核心原理一：Concat融合为什么天生脆弱？

Concat硬绑定的数学根源

BEVFusion的融合层：

F f u s e d = Concat ( F ~ l i d , F ~ c a m ) ∈ R H × W × ( C l i d + C c a m ) F_{fused} = \text{Concat}(\tilde{F}_{lid}, \tilde{F}_{cam}) \in \mathbb{R}^{H \times W \times (C_{lid} + C_{cam})}Ffused​=Concat(F~lid​,F~cam​)∈RH×W×(Clid​+Ccam​)

两路BEV特征直接拼在通道维度上。这带来的致命问题是：BEV编码器第一层卷积的输入通道数 = C_lid + C_cam（比如256+80=336）。当Camera缺失时，拼不了——concat只接受两个非空张量。就算你用全零填充Camera通道，编码器的336维输入里80维是零——BN层被炸、卷积核一半失效。

本质上，concat把"两模态都可用"写死了在架构里，没有任何fallback路径。

Single-Branch解绑：融合前后维度不变

SB-BEVFusion的做法分两步：

第一步：通道对齐。强制Camera BEV输出通道 = LiDAR BEV通道 = C（比如统一256）。只需改LSS投影头最后一层卷积的输出通道数。

第二步：同维融合。两路都是(B,C,H,W)，融合后的结果还是(B,C,H,W)——不增加通道数。

F i n = { F ( F ~ l i d , F ~ c a m ) ∈ R H × W × C , 两模态都有 F ~ l i d ∈ R H × W × C , 只有LiDAR F ~ c a m ∈ R H × W × C , 只有Camera F_{in} = \begin{cases} \mathcal{F}(\tilde{F}_{lid}, \tilde{F}_{cam}) \in \mathbb{R}^{H \times W \times C}, & \text{两模态都有} \\ \tilde{F}_{lid} \in \mathbb{R}^{H \times W \times C}, & \text{只有LiDAR} \\ \tilde{F}_{cam} \in \mathbb{R}^{H \times W \times C}, & \text{只有Camera} \end{cases}Fin​=⎩⎨⎧​F(F~lid​,F~cam​)∈RH×W×C,F~lid​∈RH×W×C,F~cam​∈RH×W×C,​两模态都有只有LiDAR只有Camera​

BEV编码器看到的始终是(B,C,H,W)的张量——不管是融合进来的、还是单路直传的。编码器不感知、也不需要感知有几个模态可用。

类比：原来的concat像一个两孔插座（必须同时插两个插头），SB-BEVFusion像智能排插——插一个也能用、插两个也能用、外型一样。

核心原理二：共享编码器怎么学会三种模式？

多模态混合训练 —— 让模型"见过所有世面"

SB-BEVFusion的训练策略极其简单但极其有效：

原数据集：700个样本，每个样本有LiDAR+Camera两路数据 ↓ 枚举：每个样本变成3个版本 - 版本1: 双模态(L+C) — 送入融合算子 → BEV编码器 → Loss - 版本2: 仅LiDAR(L) — 直接送入BEV编码器 → Loss - 版本3: 仅Camera(C) — 直接送入BEV编码器 → Loss ↓ 数据集膨胀3倍：700 × 3 = 2100个样本 ↓ 全局shuffle（打乱）

关键：shuffle后每个mini-batch随机混合三种模式。一个batch可能同时有：样本A的双模态版本、样本B的LiDAR-only版本、样本C的Camera-only版本。BEV编码器在所有版本上都计算Loss、累积梯度——平均每个训练步骤，编码器对三种模式各见一批。

共享检测头的威力：检测头参数固定，同一样本的L+C/L/C三个版本都用来更新检测头。检测头学会：这个物体的分类分数在"只有LiDAR时"、“只有Camera时”、"两者都有时"应该一致。训练完成后，推理时不需任何特殊处理。

核心原理三：无权重平均为什么是最优融合算子？

论文的惊喜发现：最简单的赢了

论文对比了四种融合算子在MultiCorrupt（5种损坏×3级严重度）上的平均鲁棒性：

反直觉结果：不加任何可学习参数的简单平均，鲁棒性最高。

为什么？

1. 值域稳定，不引入极端值

平均融合的输出值严格介于两输入之间。当一模态损坏（比如Camera雾天特征值乱跳），平均操作把损坏特征的影响折半。最大池化在极端情况下可能选了损坏模态的异常高值——反而放大噪声。

2. 特征空间隐式对齐

0.5权重强制两模态特征在同一空间下对齐。Camera BEV的"车辆中心"特征必须和LiDAR BEV的"车辆中心"特征在同一通道同一位置有近似的激活值——否则平均后信号互相抵消。训练过程中特征提取器被自然驱动学习模态间对齐。

3. 对错位不敏感

空间/时间错位时Camera和LiDAR特征在空间上不匹配。Cross-Attention会把LiDAR query attend到空间错位的Camera key上——认错对象。而平均操作只是把两图逐元素相加——错位区域两路都弱，平均后仍然弱，不会引入"幻觉"。

4. 交叉注意力为什么反而差？

交叉注意力的Gate γ初始化为0（训练初期退化为LiDAR-only）。虽然收敛后γ>0，但在损坏场景下attention匹配可能出错：Camera雾天模糊→Key特征被污染→LiDAR的Query attend到被污染的Key→输出被污染。平均操作没有这种"交叉污染"风险。

什么时候该用其他算子？

论文实验结果：交叉注意力在雾天和运动模糊上确实略优（s3雾天0.3740 vs 0.3565）。如果你明确知道主要损坏类型是Camera降质（雾/暗光）且LiDAR完好——交叉注意力可以通过attention降低Camera贡献。但总体鲁棒性还是平均最好——平均没有明显短板。

核心原理四：PMD为什么是最差的选择？

刻意模拟缺失 ≠ 真正鲁棒

PMD（渐进模态衰减）的思路：训练过程中一模态的贡献逐渐衰减到零，其他模态不变。

F i n = F ~ a n c h o r + α ⋅ F ~ o t h e r , α : 1 → 0 F_{in} = \tilde{F}_{anchor} + \alpha \cdot \tilde{F}_{other}, \quad \alpha: 1 \rightarrow 0Fin​=F~anchor​+α⋅F~other​,α:1→0

这看起来最像"缺失模态模拟训练"，但mRA仅0.7313——最差。原因：

1. α接近0时的噪声：α=0.05时，other模态贡献微弱但有，导致融合特征在"有微弱other信号"和"完全没有other信号"之间摇摆——推理时缺失模态是完全归零的，与训练后期的微弱信号不一致
2. anchor依赖：训练后期α≈0时模型只靠anchor模态，但anchor是随机选的（50% L/50% C）。最后几个epoch可能锚定在某一模态上过拟合
3. 两阶段训练本质：α:1→0实质上是"先双模态训练→后单模态finetune"，但混合shuffle做不了真正的两阶段——前半batch看到α=0.8后半batch看到α=0.2，梯度方向矛盾

教训：直接枚举三种模式+混合shuffle，比任何"模拟缺失"的策略都有效。

和鲁棒性方案的对比

SB-BEVFusion在LiDAR-only上碾压所有方案，双模态完好时反超BEVFusion。Camera-only不如UniBEV（0.2002 vs 0.35）——但UniBEV用了deformable attention（参数多、推理慢），而SB-BEVFusion完全零参数增量。

📖 想看完整论文精读+MultiCorrupt全实验+四种融合算子全对比？
单分支BEV抗损坏融合3D检测：SB-BEVFusion（JKU林茨等）ICIP 2026！单分支共享编码器+多模态混合训练，缺失损坏鲁棒暴打BEVFusion！！！