1. 项目概述当泊车遇上多智能体轨迹预测最近在搞自动泊车发现一个挺有意思的难题停车场里你的车自车想泊入一个车位旁边可能还有别的车在移动、行人穿行、甚至别的车也在找车位。这不像高速巡航大家方向相对一致。停车场是个典型的“多智能体”环境每个参与者车、人都有自己的意图而且意图会相互影响。传统的轨迹预测方法比如基于LSTM或者简单的GAN在这种复杂、交互密集的场景下经常“翻车”——预测的轨迹要么不切实际要么忽略了关键交互导致规划模块做出危险或低效的决策。我最近深度研究并复现了ParkDiffusion这个工作它直指这个痛点。简单说它用扩散模型来做多智能体轨迹预测并且特别强调了“自车意图”这个条件。这名字听起来挺唬人但拆开看就明白了“Park”指自动泊车场景“Diffusion”是核心方法“”意味着它是改进版而“Ego Intention Conditioned”和“Joint Multi-Agent”则是它的灵魂。所谓“联合多智能体预测”就是不把其他交通参与者当成背景板而是把他们未来的轨迹也一起预测出来并且考虑他们之间的相互影响。“自车意图条件化”则更关键——它让预测过程明确知道“我”自车接下来想干嘛比如是打算直行去远处的车位还是立刻右转切入旁边车位从而让预测出的所有轨迹包括其他车和人的都更符合这个意图下的交互逻辑。这不仅仅是学术上的精进。在实际的自动驾驶系统里一个能准确预测周围所有物体未来数秒轨迹的模块是做出安全、舒适、拟人化决策的基础。尤其是在泊车这种低速、高交互、空间受限的场景预测的准确性直接关系到系统是能丝滑入库还是犹豫不决甚至发生碰撞。ParkDiffusion提供了一种新的思路将生成能力强大的扩散模型与对场景交互和自车目标的深刻理解结合起来。接下来我就结合自己的复现和思考把这个工作的核心门道、实现细节以及实操中的坑给大家掰开揉碎了讲清楚。2. 扩散模型为何能成为轨迹预测的“破局者”在深入ParkDiffusion之前我们必须先搞懂为什么扩散模型Diffusion Models突然在这个领域火了它比之前的方法强在哪这得从轨迹预测任务的本质说起。2.1 轨迹预测的挑战与生成模型的演进轨迹预测说白了就是根据过去几秒的历史轨迹位置、速度、朝向等推测未来几秒的可能轨迹。这玩意儿有三大难点多模态性一个车在前面它未来可能直行、左转、右转每种可能都是一条不同的轨迹。好的预测模型应该能给出多种合理的可能性而不是只给一个“平均”答案。交互性车辆的轨迹严重受到周围车辆、行人行为的影响。这不是简单的物理运动外推而是带博弈的社会行为推理。不确定性未来本身就充满不确定性尤其是对他人意图的判断。模型需要能表达这种不确定性。早期的方法比如简单的线性外推或者物理模型完全无法处理交互和多模态。后来基于循环神经网络RNN/LSTM的方法成为主流它们能处理时序依赖但通常只能输出一条确定性轨迹或一个简单的高斯分布难以捕捉复杂的多模态分布。再后来生成对抗网络GAN被引入它的生成器可以产生多样的轨迹判别器则负责判断轨迹是否真实。这算是一个大进步但GAN notoriously地存在训练不稳定、模式崩溃只生成少数几种样本的问题。而扩散模型是生成模型家族的新贵。它的核心思想不是一步到位生成数据而是通过一个“去噪”过程逐步将随机噪声转化为目标数据。这个过程模拟了热力学中的扩散原理异常稳定。2.2 扩散模型的核心机制前向破坏与反向重建扩散模型包括两个过程前向过程扩散过程在固定步数内逐步向清晰的轨迹数据中添加高斯噪声直到数据变成纯随机噪声。这个过程是固定的不需要学习。反向过程去噪过程这是模型需要学习的核心。它训练一个神经网络学习如何从纯噪声开始一步步去除噪声最终还原出清晰的轨迹数据。关键的是这个去噪过程可以以某些条件为引导比如历史轨迹、地图信息以及在我们关注的ParkDiffusion里——自车的意图。为什么扩散模型适合轨迹预测稳定的训练相比GAN的对抗训练扩散模型的目标函数是简单的噪声预测损失如均方误差训练起来非常稳定不容易崩溃。强大的多模态生成能力由于是从噪声开始逐步采样不同的噪声样本会导向不同的生成结果天然适合产生多样化的轨迹假设。灵活的條件控制在去噪过程的每一步都可以方便地注入条件信息历史状态、意图、地图等让生成的轨迹严格符合给定的上下文。这比在GAN的隐变量中融合条件信息要直观和强大得多。概率解释清晰整个去噪过程可以看作是在估计数据分布的概率梯度有着坚实的概率论基础。在轨迹预测任务中我们可以把一条未来轨迹看作是要生成的“数据”。扩散模型通过学习去噪过程实际上学会了从复杂的联合分布考虑历史、交互、意图中采样出合理的未来轨迹。当我们在推理时从随机噪声开始用训练好的模型一步步去噪同时用当前场景的具体条件历史轨迹、自车意图等来引导这个去噪方向最终就能得到一组既多样又符合场景逻辑的预测轨迹。3. ParkDiffusion 架构深度拆解如何实现意图引导的联合预测理解了扩散模型这个“引擎”的优势后我们来看ParkDiffusion这辆“车”是怎么设计的。它的目标很明确在自动泊车场景下实现以自车意图为条件的、所有交通参与者轨迹的联合预测。其整体架构是一个条件扩散模型但细节处充满巧思。3.1 模型输入编码场景上下文与自车意图模型的输入不是原始坐标而是经过精心设计的特征。这决定了模型能“看到”什么信息。历史轨迹编码每个智能体自车、他车、行人过去T_hist个时间步的状态如位置、速度、朝向会被编码。通常使用一个共享的MLP多层感知机或LSTM为每个智能体提取一个特征向量。场景上下文编码停车场不是空白场地。车道线、停车位、障碍物等静态元素至关重要。这部分通常使用一个向量化的高清地图表示或者用卷积神经网络CNN处理鸟瞰图BEV特征提取场景的语义和几何信息。自车意图编码这是ParkDiffusion的灵魂输入。自车意图不是模糊的“我想停车”而需要被量化。在论文的实现中意图通常被定义为一个目标车位。这个车位可以用其在场景中的坐标、朝向或者一个在停车位地图上的热力图峰值来表示。这个意图信息会被编码成一个稠密的向量。实操细节在复现时意图的表示方式需要与你的规划模块对接。如果规划模块给出的是路径点序列你可能需要将其简化为一个目标状态如终点位姿。意图编码器的设计要足够鲁棒能处理意图无效如目标车位被占或意图模糊的情况一种常见的做法是引入一个“无明确意图”的类别或学习一个意图不确定性向量。所有这些编码后的特征——每个智能体的历史特征、场景全局特征、自车意图特征——需要被融合起来形成一个统一的条件向量。这个条件向量将在扩散模型的反向去噪过程中每一步都参与指导确保生成的轨迹符合历史、符合地图、更符合自车的计划。3.2 核心条件去噪网络的设计去噪网络是扩散模型的主力。在ParkDiffusion中它接收两种输入1) 当前步的“带噪轨迹”2) 上一步融合得到的“条件向量”。它的任务是预测出添加到轨迹上的噪声。“带噪轨迹”是什么在训练时我们有一批真实的未来轨迹真值。在前向过程中我们逐步对其加噪。在反向过程的每一步我们就把当前步的带噪轨迹可以看作是介于纯噪声和真值之间的某个状态输入网络。网络结构选择由于轨迹是时序数据且智能体间有关联简单的MLP不够用。ParkDiffusion很可能采用了Transformer编码器或图神经网络GNN作为去噪网络的主干。Transformer的优势它可以通过自注意力机制让所有智能体所有时间步的特征进行全局交互。一个智能体在某个未来时刻的状态可以关注到其他智能体在其他时刻的状态非常适合建模复杂的时空交互。GNN的优势将每个智能体在每个时间步视为图中的一个节点通过消息传递在智能体之间交换信息。这种方式更直观地反映了交通参与者之间的局部交互关系。在复现中的选择我倾向于使用Transformer。因为它对远程依赖的建模能力更强在停车场这种虽然空间不大但交互复杂的场景里一辆车的行为可能受到远处一辆正在倒车车辆的影响。我们可以把智能体序列和时间步序列展平构造一个(num_agents * future_steps)长度的序列输入Transformer。这个去噪网络在训练时学习预测每一步所添加的噪声。损失函数就是预测噪声和真实添加噪声之间的均方误差MSE。一旦网络训练好它就掌握了在给定条件下如何将一团乱麻的噪声“雕刻”成合理轨迹的能力。3.3 训练与采样让意图发挥作用训练流程准备一批真实驾驶数据包含场景信息、所有智能体历史轨迹、未来轨迹真值以及对应的自车意图标签如最终停入的车位ID。随机选择一个扩散步数t(从1到总步数T)。根据t和预定义的噪声调度向未来轨迹真值添加相应程度的高斯噪声得到带噪轨迹X_t。将X_t、步数t的嵌入向量、以及由历史、场景、意图融合而成的条件向量C一起输入去噪网络。计算网络预测的噪声与真实添加噪声的MSE损失反向传播更新网络参数。采样推理流程给定一个新的场景历史轨迹、地图、自车意图。融合历史与地图信息并结合自车意图生成条件向量C。从标准高斯分布中采样一个随机噪声X_T作为初始的“带噪轨迹”。从 t T 到 t 1 循环 a. 将当前带噪轨迹X_t、步数t的嵌入、条件向量C输入训练好的去噪网络得到预测的噪声ε_θ。 b. 根据扩散模型的采样器如DDPM或DDIM的更新公式利用预测的噪声X_t计算出上一时刻更清晰的轨迹X_{t-1}。 c. 这个过程中条件向量C在每一步都参与计算持续地将“自车意图”和场景信息注入到去噪方向中。当t0时得到最终的生成轨迹X_0即模型预测的所有智能体的未来轨迹。由于噪声是随机的重复上述采样过程多次就能得到一组多样化的轨迹预测。而因为条件向量C包含了自车意图这些轨迹都会体现出“如果自车执行该意图周围环境可能会如何反应”的联合预测结果。4. 从论文到实践复现ParkDiffusion的关键步骤与坑位指南读懂了原理接下来就是动手实现。复现一个先进的模型绝不是把论文里的公式翻译成代码那么简单魔鬼都在细节里。以下是我在复现过程中的核心步骤和踩过的坑。4.1 数据准备与特征工程地基不打牢模型必摇自动驾驶领域常用的数据集如 nuScenes、Argoverse 等虽然包含丰富的城市道路数据但专门针对密集停车场场景的数据相对较少。ParkDiffusion原文可能使用了内部数据集。在复现时我们可以用 nuScenes 中停车场部分的片段或者使用像parking_prediction这类更专注的数据集如果存在。关键处理步骤场景提取与坐标归一化从原始数据中截取发生在停车场内的片段。将所有坐标转换到以自车当前时刻为中心的车体坐标系或一个固定的场景坐标系下。切记要统一所有智能体的坐标参考系这是后续交互建模的基础。智能体筛选与轨迹对齐不是所有出现在画面中的物体都重要。需要根据距离、类型车辆、行人、自行车筛选出与自车有潜在交互的智能体。他们的历史轨迹和未来轨迹需要被截取并对齐到相同的时间窗口。意图标签定义这是最大的挑战之一。公开数据集中通常没有显式的“自车意图”标签。我们需要从数据中反推。一个可行的方法是将自车未来的最终状态位置、朝向与停车场地图中的车位进行匹配将最近的车位作为意图标签。如果未来轨迹终点不在任何车位内比如只是穿行则可以定义一个“穿越”意图或使用一个空标识。地图特征提取将高清地图HD Map中车道线、路沿、停车位等元素栅格化生成一个以自车为中心的鸟瞰图BEV语义分割图。或者更流行的方法是使用矢量化的方法将地图元素表示为折线polylines然后用PointNet或MLP编码这些折线得到一组地图特征向量。后者内存效率更高且更适合与Transformer结合。踩坑记录意图标签的噪声从数据反推意图标签会引入大量噪声。比如自车可能最终停在了两个车位的中间或者数据标注的终点本身就存在误差。直接使用这种有噪声的标签训练模型可能无法学会意图的真实含义。我的解决方案是引入意图不确定性建模。除了预测一个具体的意图嵌入我还让模型输出一个置信度分数或者在训练时对意图标签进行轻微的随机扰动以增强鲁棒性。更高级的做法是采用期望最大化EM的思路将意图也作为一个隐变量进行学习。4.2 模型实现细节Transformer与条件注入的艺术我选择使用PyTorch进行实现主干网络采用Transformer编码器。网络结构搭建输入嵌入层将每个智能体在每个时间步的状态x, y, 速度朝向等通过一个MLP投影到高维特征空间。同时为扩散步数t和智能体ID分别学习一个嵌入向量加到特征上。条件融合将编码后的历史轨迹特征、地图特征向量、自车意图特征向量进行融合。这里采用“交叉注意力”机制。让轨迹特征作为Query地图和意图特征共同作为Key和Value。这样轨迹生成过程可以主动“询问”地图和意图信息。Transformer编码器将融合了条件信息的轨迹特征序列送入多层Transformer编码器。自注意力机制让所有智能体所有时间步的特征充分交互。这里的一个技巧是使用“时空分离注意力”先在同一时间步内做智能体间的注意力再沿时间维度做同一智能体的注意力可以降低计算复杂度并提升效果。输出头经过Transformer处理后特征被一个MLP解码输出对噪声的预测维度与输入轨迹相同。条件注入的时机论文中通常将条件向量在每一步去噪时都输入网络。在实践中我发现除了在输入层融合将条件信息作为自适应层归一化AdaIN或特征调制FiLM的参数注入到Transformer的每一层中效果更好。这能让条件信息更深度地影响特征变换过程。4.3 训练技巧与超参数调优让模型真正收敛扩散模型的训练相对稳定但仍有不少技巧。噪声调度使用余弦调度cosine schedule通常比线性调度效果更好它在噪声添加的初期和末期变化更平缓有助于模型学习。损失函数基础的噪声预测MSE损失是主干。可以加入一些辅助损失比如轨迹端点损失鼓励预测轨迹的终点与真实终点接近。碰撞损失在训练时加入一个轻微的惩罚项对于预测轨迹中不同智能体之间距离过近的情况进行惩罚。这能显著提升预测轨迹的社会合规性。意图一致性损失如果意图是目标车位可以计算预测的自车轨迹终点与目标车位的距离作为损失。采样加速标准的DDPM采样需要迭代数百步推理速度慢。可以使用DDIM采样器它可以在20-50步内获得高质量样本极大提升推理效率。在复现时我通常先用DDPM训练然后用DDIM进行推理采样。超参数关键超参数包括扩散总步数T通常1000、噪声调度参数、Transformer的层数、隐藏层维度、注意力头数、学习率等。Batch Size不宜过小因为扩散模型需要估计数据分布较大的Batch Size有助于稳定训练。学习率可以使用带热身的余弦退火。踩坑记录训练不稳定与模式单一初期训练时模型预测的轨迹多样性不足所有采样结果都差不多。排查后发现两个问题一是条件向量过于强大压制了噪声的随机性二是使用的DDIM采样器参数设置不当。解决方案是在条件注入时可以学习一个缩放因子动态控制条件信息的影响强度对于采样可以调整DDIM的η参数噪声方差η0时能引入更多随机性增加多样性但可能会牺牲一些样本质量需要在多样性和准确性间做权衡。5. 评估与可视化如何判断预测的“好”与“坏”模型训练好了怎么知道它行不行不能光靠“看起来挺像”需要有定量的评估指标和定性的可视化分析。5.1 定量评估指标多模态轨迹预测常用的指标有最小平均位移误差minADE在模型生成的K条轨迹假设中选择与真实轨迹平均点距误差最小的一条计算其ADE。这衡量了模型预测的准确性。最小最终位移误差minFDE同样选择K条中终点误差最小的一条计算其终点误差。这衡量了模型对最终目标预测的准确性对泊车尤其重要。遗漏率Miss Rate如果K条预测轨迹中没有一条的终点落在以真实终点为中心、特定半径如2米的圆内则认为这次预测“遗漏”了。遗漏率越低越好。碰撞率Collision Rate计算预测的轨迹中不同智能体之间发生碰撞距离小于安全阈值的比例。这是衡量安全性的关键指标。车道合规率Lane Compliance Rate预测的轨迹有多少比例在车道线或可行驶区域内。这衡量了合规性。对于ParkDiffusion还需要一个特有的指标 6.意图条件一致性当给定不同的自车意图如车位A vs 车位B时模型预测的其他智能体轨迹应该有显著差异。可以设计一个指标计算在两种不同意图下预测的其他智能体轨迹的差异度差异越大说明模型对意图越敏感。在复现对比实验时需要与一些基线模型比较例如LSTM单模态输出传统方法。Social-GAN经典的基于GAN的多模态预测模型。AgentFormer基于Transformer的轨迹预测模型。原始ParkDiffusion或无意图条件的版本用于剥离出“意图条件化”带来的具体收益。5.2 定性可视化分析数字指标是冷的可视化才能发现真正的问题。我习惯用Python的Matplotlib制作动态或静态的可视化工具。场景回放图绘制鸟瞰图包含车道线、停车位。用不同颜色绘制每个智能体的历史轨迹实线和模型预测的多条未来轨迹虚线透明度表示概率或置信度真实未来轨迹用加粗实线表示。一目了然地看出预测的覆盖度和准确性。意图对比图这是分析ParkDiffusion的关键。将同一场景、同一历史但赋予自车两种不同意图如“停入左边车位”和“直行”的预测结果并列显示。观察其他车辆尤其是可能受影响的车辆的预测轨迹簇是否发生了合理的变化。例如当自车意图切入左侧车位时左侧后方车辆的预测轨迹应更多出现减速或避让的假设而当自车意图直行时该车辆的预测轨迹则可能更接近匀速。不确定性可视化扩散模型生成的轨迹簇其离散程度本身就体现了模型的不确定性。可以通过绘制轨迹簇的包络线或核密度估计图来直观展示预测的不确定性区域。在交互复杂的路口不确定性区域应该更大。踩坑记录评估时的数据泄漏在计算指标时特别是minADE/minFDE需要确保是在模型生成的K条样本中选择最佳匹配而不是用真值去“修正”样本。一个常见的错误是在推理时采样一次然后用这次采样的多条轨迹去计算指标。正确做法是对于同一个场景独立采样多次例如20次每次采样得到一组轨迹包含所有智能体。然后对于每个智能体从所有采样轮次中选出一条与其真值最接近的轨迹来计算minADE。这样才能公平地评估模型的多模态生成能力。6. 部署考量与未来展望从实验室到车端一个在测试集上表现优异的模型要真正用于自动驾驶系统还面临工程化的挑战。6.1 实时性优化扩散模型迭代采样的特性导致其推理速度较慢是部署的首要瓶颈。采样器加速如前所述采用DDIM、PLMS等加速采样器将步数从1000降至50步以内是首要优化。模型轻量化对Transformer进行剪枝、量化INT8。知识蒸馏也是一个方向用训练好的大模型教师去指导一个更小的模型学生学习。迭代优化与缓存对于连续帧的预测上一帧的预测结果可以作为下一帧初始化的良好先验可能减少所需的去噪步数。部分场景编码如地图特征可以缓存无需每帧重新计算。硬件与编译器优化利用TensorRT、ONNX Runtime等推理引擎以及GPU的Tensor Core进行加速。6.2 与规划模块的闭环轨迹预测模块不是孤立的它需要与规划模块形成闭环。意图的来源在真实的系统中自车意图来自于行为规划层或决策模块。ParkDiffusion需要与之对接接收一个明确的意图指令如“执行泊入车位A的 maneuver”。多假设处理预测模块输出的是K条概率化的轨迹假设。规划模块不能简单地选择最可能的一条而需要考虑所有可能通常采用风险感知的规划例如优化一条轨迹使其在所有合理的预测假设下都是安全的比如使用条件风险价值CVaR。交互博弈ParkDiffusion做了联合预测但本质上还是开环的它假设周围车辆不会对自车未来的动作做出反应。更高级的框架是闭环博弈即预测、规划、再预测、再规划……形成一个迭代过程但这计算成本极高。一个折中是在预测模型中显式建模他车对自车潜在规划轨迹的反应这可能是下一代系统需要解决的问题。6.3 未来可能的演进方向结合最新的研究趋势ParkDiffusion这类方法有几个有趣的演进方向与大型语言模型LLM结合意图的表示和理解可以更加抽象和泛化。LLM可以处理更高层次的语义指令如“找到最近的空车位并泊入”并输出结构化或嵌入式的意图表示作为扩散模型的条件。这能让系统处理更复杂、更人性化的泊车任务。世界模型与扩散将扩散模型作为世界模型的核心不仅预测轨迹还能预测未来的场景渲染BEV图像为规划提供更丰富的上下文。异构智能体统一建模停车场内除了汽车还有行人、骑行者、甚至动物。他们的运动模式差异巨大。未来的模型需要更好地处理这种异构性可能通过为不同类型智能体设计不同的运动先验或解码头。端到端学习绕过显式的预测和规划模块直接从感知输入图像/激光雷达学习驾驶策略。扩散模型因其强大的生成和规划能力正在成为端到端架构中策略解码器的有力候选。复现和研究ParkDiffusion的过程让我深刻体会到自动驾驶的每一个细分领域都在向更精细、更联合、更生成化的方向发展。泊车场景虽小却汇聚了感知、预测、规划、交互的所有难点。将扩散模型与明确的意图条件相结合不仅提升了预测的准确性更重要的是让预测与自车的决策产生了深刻的关联向实现真正智能、协同的自动泊车迈出了扎实的一步。在实际编码调试中对数据细节的打磨、对条件注入方式的斟酌、对评估公正性的把握每一步都充满了挑战也正是这些挑战让最终的跑通和效果提升充满了成就感。
基于扩散模型的多智能体轨迹预测：以自车意图引导泊车场景联合预测
1. 项目概述当泊车遇上多智能体轨迹预测最近在搞自动泊车发现一个挺有意思的难题停车场里你的车自车想泊入一个车位旁边可能还有别的车在移动、行人穿行、甚至别的车也在找车位。这不像高速巡航大家方向相对一致。停车场是个典型的“多智能体”环境每个参与者车、人都有自己的意图而且意图会相互影响。传统的轨迹预测方法比如基于LSTM或者简单的GAN在这种复杂、交互密集的场景下经常“翻车”——预测的轨迹要么不切实际要么忽略了关键交互导致规划模块做出危险或低效的决策。我最近深度研究并复现了ParkDiffusion这个工作它直指这个痛点。简单说它用扩散模型来做多智能体轨迹预测并且特别强调了“自车意图”这个条件。这名字听起来挺唬人但拆开看就明白了“Park”指自动泊车场景“Diffusion”是核心方法“”意味着它是改进版而“Ego Intention Conditioned”和“Joint Multi-Agent”则是它的灵魂。所谓“联合多智能体预测”就是不把其他交通参与者当成背景板而是把他们未来的轨迹也一起预测出来并且考虑他们之间的相互影响。“自车意图条件化”则更关键——它让预测过程明确知道“我”自车接下来想干嘛比如是打算直行去远处的车位还是立刻右转切入旁边车位从而让预测出的所有轨迹包括其他车和人的都更符合这个意图下的交互逻辑。这不仅仅是学术上的精进。在实际的自动驾驶系统里一个能准确预测周围所有物体未来数秒轨迹的模块是做出安全、舒适、拟人化决策的基础。尤其是在泊车这种低速、高交互、空间受限的场景预测的准确性直接关系到系统是能丝滑入库还是犹豫不决甚至发生碰撞。ParkDiffusion提供了一种新的思路将生成能力强大的扩散模型与对场景交互和自车目标的深刻理解结合起来。接下来我就结合自己的复现和思考把这个工作的核心门道、实现细节以及实操中的坑给大家掰开揉碎了讲清楚。2. 扩散模型为何能成为轨迹预测的“破局者”在深入ParkDiffusion之前我们必须先搞懂为什么扩散模型Diffusion Models突然在这个领域火了它比之前的方法强在哪这得从轨迹预测任务的本质说起。2.1 轨迹预测的挑战与生成模型的演进轨迹预测说白了就是根据过去几秒的历史轨迹位置、速度、朝向等推测未来几秒的可能轨迹。这玩意儿有三大难点多模态性一个车在前面它未来可能直行、左转、右转每种可能都是一条不同的轨迹。好的预测模型应该能给出多种合理的可能性而不是只给一个“平均”答案。交互性车辆的轨迹严重受到周围车辆、行人行为的影响。这不是简单的物理运动外推而是带博弈的社会行为推理。不确定性未来本身就充满不确定性尤其是对他人意图的判断。模型需要能表达这种不确定性。早期的方法比如简单的线性外推或者物理模型完全无法处理交互和多模态。后来基于循环神经网络RNN/LSTM的方法成为主流它们能处理时序依赖但通常只能输出一条确定性轨迹或一个简单的高斯分布难以捕捉复杂的多模态分布。再后来生成对抗网络GAN被引入它的生成器可以产生多样的轨迹判别器则负责判断轨迹是否真实。这算是一个大进步但GAN notoriously地存在训练不稳定、模式崩溃只生成少数几种样本的问题。而扩散模型是生成模型家族的新贵。它的核心思想不是一步到位生成数据而是通过一个“去噪”过程逐步将随机噪声转化为目标数据。这个过程模拟了热力学中的扩散原理异常稳定。2.2 扩散模型的核心机制前向破坏与反向重建扩散模型包括两个过程前向过程扩散过程在固定步数内逐步向清晰的轨迹数据中添加高斯噪声直到数据变成纯随机噪声。这个过程是固定的不需要学习。反向过程去噪过程这是模型需要学习的核心。它训练一个神经网络学习如何从纯噪声开始一步步去除噪声最终还原出清晰的轨迹数据。关键的是这个去噪过程可以以某些条件为引导比如历史轨迹、地图信息以及在我们关注的ParkDiffusion里——自车的意图。为什么扩散模型适合轨迹预测稳定的训练相比GAN的对抗训练扩散模型的目标函数是简单的噪声预测损失如均方误差训练起来非常稳定不容易崩溃。强大的多模态生成能力由于是从噪声开始逐步采样不同的噪声样本会导向不同的生成结果天然适合产生多样化的轨迹假设。灵活的條件控制在去噪过程的每一步都可以方便地注入条件信息历史状态、意图、地图等让生成的轨迹严格符合给定的上下文。这比在GAN的隐变量中融合条件信息要直观和强大得多。概率解释清晰整个去噪过程可以看作是在估计数据分布的概率梯度有着坚实的概率论基础。在轨迹预测任务中我们可以把一条未来轨迹看作是要生成的“数据”。扩散模型通过学习去噪过程实际上学会了从复杂的联合分布考虑历史、交互、意图中采样出合理的未来轨迹。当我们在推理时从随机噪声开始用训练好的模型一步步去噪同时用当前场景的具体条件历史轨迹、自车意图等来引导这个去噪方向最终就能得到一组既多样又符合场景逻辑的预测轨迹。3. ParkDiffusion 架构深度拆解如何实现意图引导的联合预测理解了扩散模型这个“引擎”的优势后我们来看ParkDiffusion这辆“车”是怎么设计的。它的目标很明确在自动泊车场景下实现以自车意图为条件的、所有交通参与者轨迹的联合预测。其整体架构是一个条件扩散模型但细节处充满巧思。3.1 模型输入编码场景上下文与自车意图模型的输入不是原始坐标而是经过精心设计的特征。这决定了模型能“看到”什么信息。历史轨迹编码每个智能体自车、他车、行人过去T_hist个时间步的状态如位置、速度、朝向会被编码。通常使用一个共享的MLP多层感知机或LSTM为每个智能体提取一个特征向量。场景上下文编码停车场不是空白场地。车道线、停车位、障碍物等静态元素至关重要。这部分通常使用一个向量化的高清地图表示或者用卷积神经网络CNN处理鸟瞰图BEV特征提取场景的语义和几何信息。自车意图编码这是ParkDiffusion的灵魂输入。自车意图不是模糊的“我想停车”而需要被量化。在论文的实现中意图通常被定义为一个目标车位。这个车位可以用其在场景中的坐标、朝向或者一个在停车位地图上的热力图峰值来表示。这个意图信息会被编码成一个稠密的向量。实操细节在复现时意图的表示方式需要与你的规划模块对接。如果规划模块给出的是路径点序列你可能需要将其简化为一个目标状态如终点位姿。意图编码器的设计要足够鲁棒能处理意图无效如目标车位被占或意图模糊的情况一种常见的做法是引入一个“无明确意图”的类别或学习一个意图不确定性向量。所有这些编码后的特征——每个智能体的历史特征、场景全局特征、自车意图特征——需要被融合起来形成一个统一的条件向量。这个条件向量将在扩散模型的反向去噪过程中每一步都参与指导确保生成的轨迹符合历史、符合地图、更符合自车的计划。3.2 核心条件去噪网络的设计去噪网络是扩散模型的主力。在ParkDiffusion中它接收两种输入1) 当前步的“带噪轨迹”2) 上一步融合得到的“条件向量”。它的任务是预测出添加到轨迹上的噪声。“带噪轨迹”是什么在训练时我们有一批真实的未来轨迹真值。在前向过程中我们逐步对其加噪。在反向过程的每一步我们就把当前步的带噪轨迹可以看作是介于纯噪声和真值之间的某个状态输入网络。网络结构选择由于轨迹是时序数据且智能体间有关联简单的MLP不够用。ParkDiffusion很可能采用了Transformer编码器或图神经网络GNN作为去噪网络的主干。Transformer的优势它可以通过自注意力机制让所有智能体所有时间步的特征进行全局交互。一个智能体在某个未来时刻的状态可以关注到其他智能体在其他时刻的状态非常适合建模复杂的时空交互。GNN的优势将每个智能体在每个时间步视为图中的一个节点通过消息传递在智能体之间交换信息。这种方式更直观地反映了交通参与者之间的局部交互关系。在复现中的选择我倾向于使用Transformer。因为它对远程依赖的建模能力更强在停车场这种虽然空间不大但交互复杂的场景里一辆车的行为可能受到远处一辆正在倒车车辆的影响。我们可以把智能体序列和时间步序列展平构造一个(num_agents * future_steps)长度的序列输入Transformer。这个去噪网络在训练时学习预测每一步所添加的噪声。损失函数就是预测噪声和真实添加噪声之间的均方误差MSE。一旦网络训练好它就掌握了在给定条件下如何将一团乱麻的噪声“雕刻”成合理轨迹的能力。3.3 训练与采样让意图发挥作用训练流程准备一批真实驾驶数据包含场景信息、所有智能体历史轨迹、未来轨迹真值以及对应的自车意图标签如最终停入的车位ID。随机选择一个扩散步数t(从1到总步数T)。根据t和预定义的噪声调度向未来轨迹真值添加相应程度的高斯噪声得到带噪轨迹X_t。将X_t、步数t的嵌入向量、以及由历史、场景、意图融合而成的条件向量C一起输入去噪网络。计算网络预测的噪声与真实添加噪声的MSE损失反向传播更新网络参数。采样推理流程给定一个新的场景历史轨迹、地图、自车意图。融合历史与地图信息并结合自车意图生成条件向量C。从标准高斯分布中采样一个随机噪声X_T作为初始的“带噪轨迹”。从 t T 到 t 1 循环 a. 将当前带噪轨迹X_t、步数t的嵌入、条件向量C输入训练好的去噪网络得到预测的噪声ε_θ。 b. 根据扩散模型的采样器如DDPM或DDIM的更新公式利用预测的噪声X_t计算出上一时刻更清晰的轨迹X_{t-1}。 c. 这个过程中条件向量C在每一步都参与计算持续地将“自车意图”和场景信息注入到去噪方向中。当t0时得到最终的生成轨迹X_0即模型预测的所有智能体的未来轨迹。由于噪声是随机的重复上述采样过程多次就能得到一组多样化的轨迹预测。而因为条件向量C包含了自车意图这些轨迹都会体现出“如果自车执行该意图周围环境可能会如何反应”的联合预测结果。4. 从论文到实践复现ParkDiffusion的关键步骤与坑位指南读懂了原理接下来就是动手实现。复现一个先进的模型绝不是把论文里的公式翻译成代码那么简单魔鬼都在细节里。以下是我在复现过程中的核心步骤和踩过的坑。4.1 数据准备与特征工程地基不打牢模型必摇自动驾驶领域常用的数据集如 nuScenes、Argoverse 等虽然包含丰富的城市道路数据但专门针对密集停车场场景的数据相对较少。ParkDiffusion原文可能使用了内部数据集。在复现时我们可以用 nuScenes 中停车场部分的片段或者使用像parking_prediction这类更专注的数据集如果存在。关键处理步骤场景提取与坐标归一化从原始数据中截取发生在停车场内的片段。将所有坐标转换到以自车当前时刻为中心的车体坐标系或一个固定的场景坐标系下。切记要统一所有智能体的坐标参考系这是后续交互建模的基础。智能体筛选与轨迹对齐不是所有出现在画面中的物体都重要。需要根据距离、类型车辆、行人、自行车筛选出与自车有潜在交互的智能体。他们的历史轨迹和未来轨迹需要被截取并对齐到相同的时间窗口。意图标签定义这是最大的挑战之一。公开数据集中通常没有显式的“自车意图”标签。我们需要从数据中反推。一个可行的方法是将自车未来的最终状态位置、朝向与停车场地图中的车位进行匹配将最近的车位作为意图标签。如果未来轨迹终点不在任何车位内比如只是穿行则可以定义一个“穿越”意图或使用一个空标识。地图特征提取将高清地图HD Map中车道线、路沿、停车位等元素栅格化生成一个以自车为中心的鸟瞰图BEV语义分割图。或者更流行的方法是使用矢量化的方法将地图元素表示为折线polylines然后用PointNet或MLP编码这些折线得到一组地图特征向量。后者内存效率更高且更适合与Transformer结合。踩坑记录意图标签的噪声从数据反推意图标签会引入大量噪声。比如自车可能最终停在了两个车位的中间或者数据标注的终点本身就存在误差。直接使用这种有噪声的标签训练模型可能无法学会意图的真实含义。我的解决方案是引入意图不确定性建模。除了预测一个具体的意图嵌入我还让模型输出一个置信度分数或者在训练时对意图标签进行轻微的随机扰动以增强鲁棒性。更高级的做法是采用期望最大化EM的思路将意图也作为一个隐变量进行学习。4.2 模型实现细节Transformer与条件注入的艺术我选择使用PyTorch进行实现主干网络采用Transformer编码器。网络结构搭建输入嵌入层将每个智能体在每个时间步的状态x, y, 速度朝向等通过一个MLP投影到高维特征空间。同时为扩散步数t和智能体ID分别学习一个嵌入向量加到特征上。条件融合将编码后的历史轨迹特征、地图特征向量、自车意图特征向量进行融合。这里采用“交叉注意力”机制。让轨迹特征作为Query地图和意图特征共同作为Key和Value。这样轨迹生成过程可以主动“询问”地图和意图信息。Transformer编码器将融合了条件信息的轨迹特征序列送入多层Transformer编码器。自注意力机制让所有智能体所有时间步的特征充分交互。这里的一个技巧是使用“时空分离注意力”先在同一时间步内做智能体间的注意力再沿时间维度做同一智能体的注意力可以降低计算复杂度并提升效果。输出头经过Transformer处理后特征被一个MLP解码输出对噪声的预测维度与输入轨迹相同。条件注入的时机论文中通常将条件向量在每一步去噪时都输入网络。在实践中我发现除了在输入层融合将条件信息作为自适应层归一化AdaIN或特征调制FiLM的参数注入到Transformer的每一层中效果更好。这能让条件信息更深度地影响特征变换过程。4.3 训练技巧与超参数调优让模型真正收敛扩散模型的训练相对稳定但仍有不少技巧。噪声调度使用余弦调度cosine schedule通常比线性调度效果更好它在噪声添加的初期和末期变化更平缓有助于模型学习。损失函数基础的噪声预测MSE损失是主干。可以加入一些辅助损失比如轨迹端点损失鼓励预测轨迹的终点与真实终点接近。碰撞损失在训练时加入一个轻微的惩罚项对于预测轨迹中不同智能体之间距离过近的情况进行惩罚。这能显著提升预测轨迹的社会合规性。意图一致性损失如果意图是目标车位可以计算预测的自车轨迹终点与目标车位的距离作为损失。采样加速标准的DDPM采样需要迭代数百步推理速度慢。可以使用DDIM采样器它可以在20-50步内获得高质量样本极大提升推理效率。在复现时我通常先用DDPM训练然后用DDIM进行推理采样。超参数关键超参数包括扩散总步数T通常1000、噪声调度参数、Transformer的层数、隐藏层维度、注意力头数、学习率等。Batch Size不宜过小因为扩散模型需要估计数据分布较大的Batch Size有助于稳定训练。学习率可以使用带热身的余弦退火。踩坑记录训练不稳定与模式单一初期训练时模型预测的轨迹多样性不足所有采样结果都差不多。排查后发现两个问题一是条件向量过于强大压制了噪声的随机性二是使用的DDIM采样器参数设置不当。解决方案是在条件注入时可以学习一个缩放因子动态控制条件信息的影响强度对于采样可以调整DDIM的η参数噪声方差η0时能引入更多随机性增加多样性但可能会牺牲一些样本质量需要在多样性和准确性间做权衡。5. 评估与可视化如何判断预测的“好”与“坏”模型训练好了怎么知道它行不行不能光靠“看起来挺像”需要有定量的评估指标和定性的可视化分析。5.1 定量评估指标多模态轨迹预测常用的指标有最小平均位移误差minADE在模型生成的K条轨迹假设中选择与真实轨迹平均点距误差最小的一条计算其ADE。这衡量了模型预测的准确性。最小最终位移误差minFDE同样选择K条中终点误差最小的一条计算其终点误差。这衡量了模型对最终目标预测的准确性对泊车尤其重要。遗漏率Miss Rate如果K条预测轨迹中没有一条的终点落在以真实终点为中心、特定半径如2米的圆内则认为这次预测“遗漏”了。遗漏率越低越好。碰撞率Collision Rate计算预测的轨迹中不同智能体之间发生碰撞距离小于安全阈值的比例。这是衡量安全性的关键指标。车道合规率Lane Compliance Rate预测的轨迹有多少比例在车道线或可行驶区域内。这衡量了合规性。对于ParkDiffusion还需要一个特有的指标 6.意图条件一致性当给定不同的自车意图如车位A vs 车位B时模型预测的其他智能体轨迹应该有显著差异。可以设计一个指标计算在两种不同意图下预测的其他智能体轨迹的差异度差异越大说明模型对意图越敏感。在复现对比实验时需要与一些基线模型比较例如LSTM单模态输出传统方法。Social-GAN经典的基于GAN的多模态预测模型。AgentFormer基于Transformer的轨迹预测模型。原始ParkDiffusion或无意图条件的版本用于剥离出“意图条件化”带来的具体收益。5.2 定性可视化分析数字指标是冷的可视化才能发现真正的问题。我习惯用Python的Matplotlib制作动态或静态的可视化工具。场景回放图绘制鸟瞰图包含车道线、停车位。用不同颜色绘制每个智能体的历史轨迹实线和模型预测的多条未来轨迹虚线透明度表示概率或置信度真实未来轨迹用加粗实线表示。一目了然地看出预测的覆盖度和准确性。意图对比图这是分析ParkDiffusion的关键。将同一场景、同一历史但赋予自车两种不同意图如“停入左边车位”和“直行”的预测结果并列显示。观察其他车辆尤其是可能受影响的车辆的预测轨迹簇是否发生了合理的变化。例如当自车意图切入左侧车位时左侧后方车辆的预测轨迹应更多出现减速或避让的假设而当自车意图直行时该车辆的预测轨迹则可能更接近匀速。不确定性可视化扩散模型生成的轨迹簇其离散程度本身就体现了模型的不确定性。可以通过绘制轨迹簇的包络线或核密度估计图来直观展示预测的不确定性区域。在交互复杂的路口不确定性区域应该更大。踩坑记录评估时的数据泄漏在计算指标时特别是minADE/minFDE需要确保是在模型生成的K条样本中选择最佳匹配而不是用真值去“修正”样本。一个常见的错误是在推理时采样一次然后用这次采样的多条轨迹去计算指标。正确做法是对于同一个场景独立采样多次例如20次每次采样得到一组轨迹包含所有智能体。然后对于每个智能体从所有采样轮次中选出一条与其真值最接近的轨迹来计算minADE。这样才能公平地评估模型的多模态生成能力。6. 部署考量与未来展望从实验室到车端一个在测试集上表现优异的模型要真正用于自动驾驶系统还面临工程化的挑战。6.1 实时性优化扩散模型迭代采样的特性导致其推理速度较慢是部署的首要瓶颈。采样器加速如前所述采用DDIM、PLMS等加速采样器将步数从1000降至50步以内是首要优化。模型轻量化对Transformer进行剪枝、量化INT8。知识蒸馏也是一个方向用训练好的大模型教师去指导一个更小的模型学生学习。迭代优化与缓存对于连续帧的预测上一帧的预测结果可以作为下一帧初始化的良好先验可能减少所需的去噪步数。部分场景编码如地图特征可以缓存无需每帧重新计算。硬件与编译器优化利用TensorRT、ONNX Runtime等推理引擎以及GPU的Tensor Core进行加速。6.2 与规划模块的闭环轨迹预测模块不是孤立的它需要与规划模块形成闭环。意图的来源在真实的系统中自车意图来自于行为规划层或决策模块。ParkDiffusion需要与之对接接收一个明确的意图指令如“执行泊入车位A的 maneuver”。多假设处理预测模块输出的是K条概率化的轨迹假设。规划模块不能简单地选择最可能的一条而需要考虑所有可能通常采用风险感知的规划例如优化一条轨迹使其在所有合理的预测假设下都是安全的比如使用条件风险价值CVaR。交互博弈ParkDiffusion做了联合预测但本质上还是开环的它假设周围车辆不会对自车未来的动作做出反应。更高级的框架是闭环博弈即预测、规划、再预测、再规划……形成一个迭代过程但这计算成本极高。一个折中是在预测模型中显式建模他车对自车潜在规划轨迹的反应这可能是下一代系统需要解决的问题。6.3 未来可能的演进方向结合最新的研究趋势ParkDiffusion这类方法有几个有趣的演进方向与大型语言模型LLM结合意图的表示和理解可以更加抽象和泛化。LLM可以处理更高层次的语义指令如“找到最近的空车位并泊入”并输出结构化或嵌入式的意图表示作为扩散模型的条件。这能让系统处理更复杂、更人性化的泊车任务。世界模型与扩散将扩散模型作为世界模型的核心不仅预测轨迹还能预测未来的场景渲染BEV图像为规划提供更丰富的上下文。异构智能体统一建模停车场内除了汽车还有行人、骑行者、甚至动物。他们的运动模式差异巨大。未来的模型需要更好地处理这种异构性可能通过为不同类型智能体设计不同的运动先验或解码头。端到端学习绕过显式的预测和规划模块直接从感知输入图像/激光雷达学习驾驶策略。扩散模型因其强大的生成和规划能力正在成为端到端架构中策略解码器的有力候选。复现和研究ParkDiffusion的过程让我深刻体会到自动驾驶的每一个细分领域都在向更精细、更联合、更生成化的方向发展。泊车场景虽小却汇聚了感知、预测、规划、交互的所有难点。将扩散模型与明确的意图条件相结合不仅提升了预测的准确性更重要的是让预测与自车的决策产生了深刻的关联向实现真正智能、协同的自动泊车迈出了扎实的一步。在实际编码调试中对数据细节的打磨、对条件注入方式的斟酌、对评估公正性的把握每一步都充满了挑战也正是这些挑战让最终的跑通和效果提升充满了成就感。
