告别传统预处理！用FFT-RadNet直接处理高清雷达原始数据，实现多任务感知（附RADIal数据集实战）
告别传统预处理！用FFT-RadNet直接处理高清雷达原始数据，实现多任务感知
自动驾驶领域正面临一个关键转折点——传统雷达信号处理流程的计算开销已成为制约边缘设备部署的瓶颈。当大多数研究团队仍在优化距离-方位角（RA）映射生成算法时，FFT-RadNet选择了一条颠覆性的技术路径：直接让神经网络学习从原始距离-多普勒（RD）频谱中提取多任务感知特征。这种端到端方案不仅省去了传统信号处理链中90%以上的计算量，更在RADIal数据集上实现了超越传统方法的检测精度。
1. 高清雷达感知的范式革命
传统车载雷达处理流程就像一条冗长的工厂流水线：首先对模数转换器（ADC）原始信号进行距离FFT，接着执行多普勒FFT生成RD谱，最后通过角度FFT或波束形成算法计算方位角。这个三级处理链需要消耗45-495 GFLOPS的计算资源，而最终产生的RA映射却丢失了原始数据中的仰角信息。
FFT-RadNet的创新在于将整个处理流程压缩为三个关键模块：
MIMO预编码器：通过扩张卷积（Dilated Convolution）解决NTx发射天线造成的信号交错问题。如图1所示，当NTx=3、NRx=2时，单个物体在RD谱中会出现3次重复特征。预编码器通过∆=∆BD/Dmax的扩张率精确对齐这些特征，再经3×3卷积压缩通道数。
# MIMO预编码器的PyTorch实现核心 class MIMOPreencoder(nn.Module): def __init__(self, NTx=3, NRx=16): super().__init__() self.dilated_conv = nn.Conv2d(NRx, 64, kernel_size=(1,NTx), dilation=(1, delta)) self.compression = nn.Sequential( nn.Conv2d(64, 192, 3, padding=1), nn.BatchNorm2d(192), nn.ReLU()) def forward(self, x): # x: [B, 2NRx, BR, BD] return self.compression(self.dilated_conv(x))特征金字塔编码器：采用ResNet变体构建四层特征金字塔，每层执行2×2下采样。与传统FPN不同，其通道维度专为雷达特性设计——远距离时通道数对应窄视场高分辨率，近距离则对应宽视场低分辨率。
距离-角度解码器：通过轴交换技巧将多普勒-方位角特征转换为方位角-距离表示。如图2所示，该模块先通过1×1卷积调整通道维度，再对距离轴进行反卷积上采样，最终输出潜在RA表示。
实测数据表明：在NVIDIA Xavier嵌入式平台，传统方法生成RA映射需耗时78ms，而FFT-RadNet从原始数据到检测结果仅需21ms，其中MIMO预编码器仅占3ms。
2. RADIal数据集的技术突破
现有雷达数据集普遍存在三个局限：仅提供处理后的点云或RA映射、缺乏多传感器同步、标注类型单一。RADIal的突破性体现在：
| 特性 | RADIal | nuScenes | Astyx | Zendar |
|---|---|---|---|---|
| 原始ADC数据 | ✓ | ✗ | ✗ | ✗ |
| 高清雷达 | ✓ | ✗ | ✓ | ✓ |
| 同步相机+激光雷达 | ✓ | ✓ | ✗ | ✗ |
| 自由空间标注 | ✓ | ✗ | ✗ | ✗ |
| 多普勒信息 | ✓ | ✗ | ✓ | ✓ |
数据集构建过程中，研发团队创造性地采用多模态半自动标注方案：
- 使用RetinaNet从相机图像生成初始检测框
- 通过激光雷达点云与雷达反射信号的几何一致性验证目标
- 将DeepLabV3+分割结果投影到雷达坐标系生成驾驶空间标注
这种流程虽然会引入约5%的标注误差（主要来自俯仰角变化导致的投影偏差），但实现了25k帧大规模标注的可行性。图3展示了城市十字路口场景下的多模态数据对齐效果。
3. 多任务学习的协同效应
FFT-RadNet的检测头与分割头共享潜在RA表示，这种设计带来两个意想不到的优势：
特征互补性：
- 检测任务需要的车辆轮廓信息有助于分割头区分道路边界
- 分割任务提供的场景上下文能减少检测头的误报率
硬件友好性：
- 共享主干网络减少50%的内存带宽需求
- 双任务联合推理比单独执行节省40%计算量
表1对比了多任务与单任务版本的性能差异（在RADIal测试集）：
| 模型版本 | 检测AP@50 | 分割mIoU | 推理耗时(ms) |
|---|---|---|---|
| 仅检测 | 68.2 | - | 17 |
| 仅分割 | - | 72.1 | 19 |
| 多任务(λ=100) | 69.8(+1.6) | 73.4(+1.3) | 21 |
损失函数设计是另一个创新点。检测头采用改进的Pixor损失：
L_{det} = \frac{1}{N_{pos}}\sum_i FL(p_i,p_i^*) + \frac{\beta}{N_{pos}}\sum_j smooth_{L1}(r_j-r_j^*)其中焦点损失（Focal Loss）的超参数γ=2，能有效解决雷达数据中正负样本极端不平衡的问题。
4. 边缘部署的实战优化
在德州仪器TDA4VM处理器上的部署经验揭示了几个关键优化点：
内存布局优化：
- 将RD频谱的实部/虚部交错存储为FP16格式
- 预编码器输出采用Tile-based数据排布以匹配DSP的128位访存模式
计算加速技巧：
// 利用ARM NEON指令并行处理4个RD谱 float32x4_t rd_real = vld1q_f32(input_ptr); float32x4_t rd_imag = vld1q_f32(input_ptr + 4); float32x4_t res = vmlaq_f32(acc, rd_real, kernel_real); res = vmlsq_f32(res, rd_imag, kernel_imag);量化策略：
- 对MIMO预编码器采用8bit动态量化
- FPN编码器使用16bit浮点保持精度
- 检测头输出层采用4bit量化+查找表
实测表明，经过优化的模型在TDA4VM上仅占用23MB内存，推理帧率稳定在45FPS，完全满足ASIL-D功能安全要求。图4展示了乡村道路场景下的实时检测效果，即便在强雨雾干扰下仍能保持稳定的感知性能。
这项技术的商业价值正在显现——某OEM厂商的测试数据显示，采用FFT-RadNet方案后，其4D成像雷达的BOM成本降低19%，同时因取消专用信号处理芯片使得PCB面积减少35%。更令人振奋的是，未经任何调整的模型在毫米波雷达（77-81GHz）和激光雷达（905nm）的融合系统中也展现出优秀的跨模态适应性。