一、本文介绍

本文记录的是利用LCA轻量交叉注意力改进YOLOv11的可见光-红外双模态目标检测。

LCA（Lighten Cross-Attention）通过对称双向交叉注意力CAB、可见光颜色去噪层CD与红外强度增强层IEL三分支协同结合，搭建可见光纹理、红外热特征双向引导交互通路，实现两类模态互补信息精准传递。本文利用LCA模块，以红外强度分支为K/V引导可见光色度分支滤除低照度暗噪声，同时以可见光纹理分支反向补全红外模糊热目标轮廓，分别通过CD层剥离可见光无效杂波、IEL放大红外弱小目标热辐射特征，搭配残差连接保留多模态原始细节信息，针对性强化红外弱小热目标轮廓与可见光清晰纹理特征，强效抑制可见光暗区杂波、红外灰度模糊两类模态干扰，在多模态特征交互阶段实现可见光色彩细节与红外热语义高效互补，规避传统拼接融合信息割裂、标准交叉注意力算力冗余缺陷，显著提升夜间复杂场景下可见光红外融合图像质量与弱小目标检测分割精度。

专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用

专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！

二、LCA介绍

2.1 设计出发点

可见光模态富含纹理、色彩、边缘细节，但夜间/低照度场景信噪比极低，暗区噪声泛滥；红外模态依靠热辐射凸显弱小目标、暗区物体轮廓，但缺失真实色彩与精细纹理。现有多模态融合网络存在三大缺陷：

1. 简单拼接/逐加融合仅做浅层特征叠加，无法建立可见光纹理、红外热特征的双向引导关联，两类模态互补信息无法精准互通；
2. 普通自注意力仅单模态内部建模，跨模态交互匮乏，红外热目标易被可见光暗噪声淹没，可见光有效纹理易被红外灰度信息覆盖；
3. 标准Transformer交叉注意力参数量、计算量庞大，多模态实时检测/分割部署困难，且无法针对性区分暗区噪声与有效多模态特征。
   因此提出轻量交叉注意力LCA，构建可见光（HV色度分支）、红外（强度I分支）双向引导机制，用轻量化跨注意力实现两类模态特征互补交互，同步抑制可见光暗噪、强化红外弱小热目标，兼顾融合精度与推理速度。

2.2 模块结构

LCA（Lighten Cross-Attention）由对称交叉注意力块CAB、颜色去噪层CD、强度增强层IEL三部分组成，适配可见光-红外双分支多模态架构：

1. 交叉注意力块CAB（双向模态交互核心）
   采用对称双路QKV映射：可见光HV分支特征作为Query，红外I分支特征作为Key/Value做交叉注意力，用红外热轮廓引导可见光暗区去噪；反向以红外I分支为Query、可