简介面向视觉目标跟踪研究与学习的一份MATLAB实现资源核心覆盖粒子滤波PF、卡尔曼粒子滤波KPF与无迹粒子滤波UPF三种跟踪算法。代码是作者近两年完成的核心工作重点解决复杂场景下的鲁棒跟踪问题相比MeanShift、Camshift一类方法在遮挡、光照变化等条件下具有更稳定的表现。压缩包共19个文件其中11个m源码包括pf、kpf、upf主程序以及ekf、重采样等配套模块另有7个mexw32编译加速组件便于直接调用提升运行效率并附带1篇pdf参考文献辅助理解原理。资源整体约387KB结构紧凑适合有一定MATLAB基础的研究者学习算法细节、对比不同粒子滤波变体的跟踪效果或在此基础上进行二次开发。已有186人学习下载内容针对性强对从事视觉目标跟踪算法研究的人员具有直接的参考价值。1. 粒子滤波视觉跟踪为什么在遮挡、非线性场景比卡尔曼更稳在单目相机里跟踪一个快速目标最难的往往不是目标跑得快而是它从一棵树、一根柱子后面短暂经过后又回到视野。卡尔曼滤波在遮挡发生的几帧里会让协方差盲目膨胀等目标重新露头时跟踪框常常停在遮挡物边缘或者被背景特征带跑。粒子滤波不假设状态噪声和观测噪声服从高斯分布而是用几百个随机样本离散近似状态后验目标位置即使短暂丢失粒子族也保留着多个“猜测”在非线性运动和外貌变化场景下天然更稳。这篇文章从贝叶斯递推开始讲原理再到可复现的 Python 实现给出鲁棒性增强策略最后落到调参和离线验证。适合正在做视觉目标跟踪、移动机器人和嵌入式视觉的开发者参考。2. 粒子滤波视觉跟踪的递推模型、似然设计与退化判定2.1 把目标跟踪写成贝叶斯递推视觉跟踪的完整闭环可以压缩成两个方程状态方程和观测方程。常用状态向量是 x_k (u, v, s, v_u, v_v)其中 u、v 是目标中心在图像坐标系下的坐标s 是跟踪框尺度v_u、v_v 是横向与纵向的速度。状态方程描述“目标下一帧大概在哪”观测方程回答“这个位置看起来像不像目标”。状态方程常用恒定速度模型并叠加过程噪声x_k F x_{k-1} e_k, e_k ~ N(0, Q) z_k h(x_k) v_k, v_k 是观测噪声卡尔曼要求状态转移和观测模型线性、噪声高斯。视觉跟踪里的观测往往是颜色直方图、边缘梯度这些与目标位置强烈非线性的特征光照变化和遮挡又让噪声分布偏离高斯所以卡尔曼在线性假设不成立时会出现系统性偏差。粒子滤波不解析计算后验而是用 N 个带权重的粒子 (x_k^i, w_k^i) 逼近 p(x_k | z_{1:k})。每帧递推分两步预测步p(x_k | z_{1:k-1}) ∫ p(x_k | x_{k-1}) p(x_{k-1} | z_{1:k-1}) dx_{k-1}更新步p(x_k | z_{1:k}) ∝ p(z_k | x_k) p(x_k | z_{1:k-1})用大白话说预测就是每个粒子按状态方程各自向前跑一步更新则是每个粒子按当前帧的观测给自己打分低分粒子在后续被淘汰。观测似然 p(z_k | x_k^i) 是粒子滤波的“眼睛”。常见做法是提取粒子所在区域的 HSV 颜色直方图与目标初始模板做距离比较。只使用 H 通道可以降低光照亮度分量的干扰如果目标颜色与背景颜色比较接近再加 S 通道做一个联合直方图例如 H 取 16 bin、S 取 8 bin。距离度量常用巴氏距离或平方根距离后续代码里采用巴氏距离。2.2 重要性采样、权重更新与系统重采样粒子滤波并不直接采样后验分布而是从建议分布 q 中采样再用权重修正偏差。视觉跟踪最省事的建议分布就是状态转移先验 p(x_k | x_{k-1})每个粒子先按状态方程撒出去再更新权重。w_k^i w_{k-1}^i * p(z_k | x_k^i) w_k^i w_k^i / sum_j w_k^j这个做法的代价是粒子在没有观测指引前就扩散开了好处是工程实现非常简单粒子数不是太少时跟踪稳定性完全够用。权重更新完之后要做一次系统重采样典型逻辑是先算权重累计和再生成一组均匀分布的游标把每个游标插入到累计区间中寻找对应粒子索引。系统重采样比多项式重采样更均匀计算量也更稳定不容易反复复制同一个权重特别大的粒子。2.3 有效粒子数与退化预警权重更新迭代若干帧后少数粒子的权值会趋近于 1其余粒子权重接近 0这种现象叫粒子退化。退化不处理粒子族收缩到几个点上目标尺度一变或轻微遮挡就可能跟丢。工程上用一个标量判断退化程度N_eff 1 / (sum_i (w_k^i)^2)N_eff 越接近 N粒子越健康N_eff 接近 1说明只有一个粒子在起作用。常见做法是设定阈值N_eff 小于 N/2 时触发重采样也有实现是每帧先重采样再预测。我在做视觉目标跟踪时更倾向每帧都做系统重采样因为视觉观测似然比较平滑提前重采样不会明显损失精度反而能让粒子数长期保持健康。方法假设遮挡/光照变化典型粒子数适用场景卡尔曼滤波线性高斯观测弱不适用匀速运动、雷达/激光跟踪扩展卡尔曼局部线性化弱不适用弱非线性运动无迹卡尔曼高斯近似传播中不适用中等非线性目标状态粒子滤波任意分布离散近似强100~2000视觉目标、多峰歧义场景无迹卡尔曼在部分跟踪场景表现不错前提是目标状态后验接近单峰。粒子滤波的多峰优势在行人遮挡、多目标歧义这些真实场景里更值得利用这也是鲁棒性差异的主要来源。3. 用 PythonOpenCV 跑通粒子滤波视觉跟踪的最小代码3.1 状态定义、粒子初始化与辅助函数拿到一个命名为 particle-filter-visual-tracking 的源码包无论它是 Git 仓库还是一个 rar 压缩包解压出来的目录我都习惯先找带 main 或 demo 的入口再单独看粒子初始化代码。手写核心实现并不长下面是最小可运行版本import cv2 import numpy as np N_PARTICLES 500 class ParticleFilter: def __init__(self, frame, bbox, num_particlesN_PARTICLES): x, y, w, h bbox self.num_particles num_particles self.particles np.zeros((num_particles, 6)) # 状态顺序: u, v, s, vu, vv, weight cx x w / 2.0 cy y h / 2.0 self.particles[:, 0] np.random.normal(cx, w * 0.5, num_particles) self.particles[:, 1] np.random.normal(cy, h * 0.5, num_particles) self.particles[:, 2] np.random.normal(1.0, 0.1, num_particles) # 尺度 self.particles[:, 3] np.random.normal(0.0, 1.0, num_particles) # vx self.particles[:, 4] np.random.normal(0.0, 1.0, num_particles) # vy self.particles[:, 5] 1.0 / num_particles self.region_w w self.region_h h self.template_hist self._histogram(frame, bbox) def _histogram(self, frame, bbox): x, y, w, h [int(v) for v in bbox] roi frame[max(0, y):y h, max(0, x):x w] if roi.size 0: return None hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) hist cv2.calcHist([hsv], [0, 1], None, [16, 8], [0, 180, 0, 256]) hist cv2.normalize(hist, hist).flatten() return hist def _to_bbox(self, p): w max(4, int(self.region_w * p[2])) h max(4, int(self.region_h * p[2])) x int(p[0] - w / 2) y int(p[1] - h / 2) return (x, y, w, h)状态向量共 6 列最后一列是权重。初始时刻以目标框中心为均值框宽高的一半作为标准差撒高斯粒子让第一帧就覆盖目标附近的多个可能位置。尺度 s 初始化为带扰动的高斯分布不是硬编码 1.0这样目标开始缓慢拉近或拉远时粒子族已经有能力描述小幅尺度变化。_to_bbox在后面更新权重和 MCMC 迁移时都要复用。3.2 颜色直方图似然与权重更新观测模型使用 HSV 的 HS 联合直方图巴氏距离越大表示越不相似权重用指数核转换def _likelihood(self, frame, bbox): hist self._histogram(frame, bbox) if hist is None: return 1e-3 # 巴氏距离: 0 表示完全一致, 1 表示完全不一致 d cv2.compareHist(self.template_hist, hist, cv2.HISTCMP_BHATTACHARYYA) return np.exp(-0.2 * d * d) def update(self, frame): weights np.zeros(self.num_particles) for i, p in enumerate(self.particles): bbox self._to_bbox(p) x_c, y_c int(p[0]), int(p[1]) if (x_c 0 or y_c 0 or x_c frame.shape[1] or y_c frame.shape[0]): weights[i] 1e-6 else: weights[i] self._likelihood(frame, bbox) weights 1e-6 self.particles[:, 5] weights / np.sum(weights)模板直方图与候选区域直方图都做了归一化compareHist 才有可比性。指数里的带宽系数 0.2 控制似然函数的尖锐程度调大后只有非常接近模板的粒子能拿到较高权重跟踪框更紧但目标一变形就容易丢调小后粒子分布变宽鲁棒性提升但框会发飘。我一般从 0.1 到 0.4 之间试。越界粒子不是直接丢弃而是给极小权重这样重采样还有机会把粒子从边界拉回目标位置。3.3 系统重采样与主循环完整结构系统重采样实现如下它在多样性和计算量之间比多项式重采样更均衡def resample(self): w self.particles[:, 5] N self.num_particles positions (np.arange(N) np.random.uniform(0, 1)) / N indexes np.zeros(N, dtypenp.int64) cumsum np.cumsum(w) i, j 0, 0 while i N: if positions[i] cumsum[j]: indexes[i] j i 1 else: j 1 self.particles self.particles[indexes] # 重采样后权重恢复均匀, 避免权重集中在少数粒子上 self.particles[:, 5] 1.0 / N主循环把视频流接到预测、更新、重采样三个步骤上cap cv2.VideoCapture(video_path) ok, frame cap.read() bbox cv2.selectROI(select target, frame, False) cv2.destroyWindow(select target) pf ParticleFilter(frame, bbox) while True: ok, frame cap.read() if not ok: break # 状态预测: 恒定速度 高斯过程噪声 pf.particles[:, 0] pf.particles[:, 3] np.random.normal(0, 1.0, pf.num_particles) pf.particles[:, 1] pf.particles[:, 4] np.random.normal(0, 1.0, pf.num_particles) pf.particles[:, 3] * 0.95 pf.particles[:, 4] * 0.95 pf.particles[:, 2] np.random.normal(0, 0.02, pf.num_particles) pf.particles[:, 2] np.clip(pf.particles[:, 2], 0.6, 1.6) pf.update(frame) pf.resample() # 用加权平均估计目标状态, 相当于对粒子族做软投票 xs pf.particles[:, 0] ys pf.particles[:, 1] ss pf.particles[:, 2] sx (xs * pf.particles[:, 5]).sum() sy (ys * pf.particles[:, 5]).sum() scale (ss * pf.particles[:, 5]).sum() w int(pf.region_w * scale) h int(pf.region_h * scale) cv2.rectangle(frame, (int(sx - w / 2), int(sy - h / 2)), (int(sx w / 2), int(sy h / 2)), (0, 255, 0), 2) cv2.imshow(pf, frame) if cv2.waitKey(30) 0xFF ord(q): break过程噪声沿 x、y 方向取 1.0 像素速度阻尼取 0.95防止恒定速度模型在目标减速后继续加速。尺度噪声 0.02、尺度范围 0.6~1.6对行人和车辆的缩放幅度足够。最后的加权平均比取最大权重粒子更稳也比聚类简单。实际运行中最容易出的问题是选框太小模板直方图只有几像素后面权重很难收敛我的做法是强制最小框宽高不小于 16 像素。提示粒子数不是越多越好。在 CPU 上 500 粒子的 HS 直方图方案已经可用盲目加到 2000 只会让每帧延迟明显上升跟踪精度的边际收益非常有限。4. 用自适应过程噪声与 MCMC 迁移提升粒子滤波视觉跟踪鲁棒性4.1 自适应过程噪声解决目标速度突变固定 1.0 像素的过程噪声只适合缓慢运动。目标突然加速时粒子扩散半径跟不上真实位移跟踪框会延后一拍。常见做法是把过程噪声的方差与最近几帧粒子速度的方差挂钩sigma_x clip(beta * std(particles[:, 3]), 0.5, 8.0) sigma_y clip(beta * std(particles[:, 4]), 0.5, 8.0)beta 取 1.2 到 2.0。目标跑得快系统自动把粒子撒得更开目标静止时噪声下限 0.5 也能保证搜索不会彻底停住。更激进的做法是在预测时给每个粒子叠加一个按速度大小调整的牵引项我通常只在目标被判定为可疑跟踪时才启用避免正常跟踪时因为额外抖动导致跟踪框发飘。这个逻辑放在主循环预测之前先算粒子速度的标准差再传给 np.random.normal。4.2 在重采样之后加一步 MCMC 迁移重采样的副作用是重复粒子过多粒子族多样性下降。有时跟踪问题不是权重算错而是重采样后粒子全挤在几个点上下一帧目标稍微移向旁边粒子已经失去先手优势。MCMC 迁移是常用的补救手段对每个重采样后的粒子提出一个候选粒子 x通常用尺度很小的随机游走然后按 Metropolis-Hastings 准则决定是否接受接受概率 alpha min(1, p(z | x) p(x) / (p(z | x) p(x)))其中 p(z | x) 是观测似然p(x) 是状态转移先验。迁移结束后权重保持 1/N 不变保证粒子仍然近似服从目标后验分布。def mcmc_move(self, frame, sigma0.3): current_likelihood np.zeros(self.num_particles) for i, p in enumerate(self.particles): current_likelihood[i] self._likelihood(frame, self._to_bbox(p)) for i in range(self.num_particles): candidate self.particles[i].copy() candidate[0] np.random.normal(0, sigma) candidate[1] np.random.normal(0, sigma) candidate_likelihood self._likelihood(frame, self._to_bbox(candidate)) # 对称随机游走建议分布下, 先验比可近似为 1 if np.random.rand() min(1.0, candidate_likelihood / (current_likelihood[i] 1e-8)): self.particles[i] candidate候选粒子在原来位置附近偏移 0.3 像素正常情况下不会改变跟踪结果但能把重复粒子分散开让下一帧目标移动时少一层“复制品”带来的迟钝。这个操作的代价是额外一次直方图提取500 粒子大约每帧多 2 到 4 毫秒嵌入式设备上可以每隔 5 到 10 帧执行一次不必每帧都做。4.3 遮挡检测与观测模式切换在处理遮挡和临时离开视野时我常用下面的判定策略依据是当前估计区域和目标模板之间的直方图距离 d直方图距离 d状态处理动作0 ~ 0.2可靠跟踪正常粒子预测、更新、重采样0.2 ~ 0.45可疑增大过程噪声、拉大搜索半径、降低重采样频率 0.45遮挡/丢失放弃权重更新、按上一帧速度外推、记录最后可靠位置遮挡期间维持外推的时间我的经验是行人场景里 15 到 30 帧一般足够超过 30 帧还没找到目标就在最后一次可靠位置附近重新撒粒子同时重新采样模板直方图。触发重新撒点的关键不要让粒子在遮挡时继续在背景上累积权重否则目标重新出现时粒子已经被背景特征占据跟踪框会粘在背景上。目标颜色发生剧烈变化时比如行人从深色外套换成白色短袖HSV 直方图距离会直接跳到 0.5 以上。这种情况单靠颜色特征很难救回来我会引入特征融合把颜色直方图和梯度直方图加权求和。颜色权重下降后粒子坐标还能靠梯度特征撑着跟踪框不会立刻飞向背景区域。模板更新也不能每帧都做否则模板会慢慢漂到一个与目标无关的残影上。连续 5 帧直方图距离小于 0.15 时才把模板向当前估计区域移动 10%。这一章的核心目标不是让跟踪永远不会丢而是在跟丢之前先给出置信度提示给上层决策留出接管时间。5. 粒子滤波视觉跟踪落地前的参数定位与离线验证5.1 把 N_eff 和直方图距离打进日志调试粒子滤波最有效的方法不是只看跟踪框而是每次迭代记录几个标量有效粒子数 N_eff、粒子权重方差、估计框与模板的直方图距离、粒子速度均值。把这四个值叠加在视频帧左上角能快速分辨问题出在哪一层。N_eff 一直很低说明重采样时机太早或似然函数过尖直方图距离突然变大但 N_eff 很高说明目标外观特征发生变化速度均值很大但权重方差很小说明过程噪声不够粒子没有覆盖真实运动范围。我用 CSV 落盘的方式处理跑完一段 60 秒测试视频后筛出直方图距离超过 0.45 的帧号再回到这些帧逐帧查看是遮挡、形变还是背景干扰。这样比盯着实时画面更可靠也方便改完参数后做 A/B 对比。5.2 常见症状与调参方向症状优先检查调参方向跟踪框频繁抖动过程噪声过大sigma 减半观察稳定后再微调每次遮挡后必丢粒子数太少或噪声太小粒子数翻倍同时检查重采样频率目标快速移动时滞后恒定速度模型惯量不够速度阻尼调到 0.98增大 sigma 上限跟踪框始终比目标小状态空间缺少尺度更新确认 scale 噪声设置在 0.01~0.05权重集中在少数粒子似然带宽过尖增大指数核带宽系数 0.1→0.3调参时一次只动一个变量。先固定随机种子把所有候选配置在同一个视频集上跑完记录曲线后再比较。5.3 固定随机种子做离线回归落地前最后一个步骤是离线批量评估。把测试视频分成三类目标匀速运动、目标被遮挡后重现、目标外观发生明显变化。同一套粒子滤波配置跑完三类视频输出中心位置误差CLE曲线和重叠成功率曲线。稳定的标志是 CLE 在遮挡段有小尖峰但 20 帧内回落成功率不长期低于 0.5。对比不同粒子数和过程噪声时直接比较曲线下面积即可。粒子滤波视觉跟踪调试最有用的一个技巧是固定 np.random.seed。固定种子后反复调参才有可比性线上运行时再去掉固定种子因为真实场景的随机性不需要复现。正式提交前我最后都会跑一遍固定种子、输出 CSV、计算 CLE 曲线的回归流程确认调整项确实改善了目标场景而不是靠某一次特殊帧侥幸通过。本文还有配套的精品资源点击获取
粒子滤波视觉跟踪：原理、Python实现与遮挡鲁棒性增强
简介面向视觉目标跟踪研究与学习的一份MATLAB实现资源核心覆盖粒子滤波PF、卡尔曼粒子滤波KPF与无迹粒子滤波UPF三种跟踪算法。代码是作者近两年完成的核心工作重点解决复杂场景下的鲁棒跟踪问题相比MeanShift、Camshift一类方法在遮挡、光照变化等条件下具有更稳定的表现。压缩包共19个文件其中11个m源码包括pf、kpf、upf主程序以及ekf、重采样等配套模块另有7个mexw32编译加速组件便于直接调用提升运行效率并附带1篇pdf参考文献辅助理解原理。资源整体约387KB结构紧凑适合有一定MATLAB基础的研究者学习算法细节、对比不同粒子滤波变体的跟踪效果或在此基础上进行二次开发。已有186人学习下载内容针对性强对从事视觉目标跟踪算法研究的人员具有直接的参考价值。1. 粒子滤波视觉跟踪为什么在遮挡、非线性场景比卡尔曼更稳在单目相机里跟踪一个快速目标最难的往往不是目标跑得快而是它从一棵树、一根柱子后面短暂经过后又回到视野。卡尔曼滤波在遮挡发生的几帧里会让协方差盲目膨胀等目标重新露头时跟踪框常常停在遮挡物边缘或者被背景特征带跑。粒子滤波不假设状态噪声和观测噪声服从高斯分布而是用几百个随机样本离散近似状态后验目标位置即使短暂丢失粒子族也保留着多个“猜测”在非线性运动和外貌变化场景下天然更稳。这篇文章从贝叶斯递推开始讲原理再到可复现的 Python 实现给出鲁棒性增强策略最后落到调参和离线验证。适合正在做视觉目标跟踪、移动机器人和嵌入式视觉的开发者参考。2. 粒子滤波视觉跟踪的递推模型、似然设计与退化判定2.1 把目标跟踪写成贝叶斯递推视觉跟踪的完整闭环可以压缩成两个方程状态方程和观测方程。常用状态向量是 x_k (u, v, s, v_u, v_v)其中 u、v 是目标中心在图像坐标系下的坐标s 是跟踪框尺度v_u、v_v 是横向与纵向的速度。状态方程描述“目标下一帧大概在哪”观测方程回答“这个位置看起来像不像目标”。状态方程常用恒定速度模型并叠加过程噪声x_k F x_{k-1} e_k, e_k ~ N(0, Q) z_k h(x_k) v_k, v_k 是观测噪声卡尔曼要求状态转移和观测模型线性、噪声高斯。视觉跟踪里的观测往往是颜色直方图、边缘梯度这些与目标位置强烈非线性的特征光照变化和遮挡又让噪声分布偏离高斯所以卡尔曼在线性假设不成立时会出现系统性偏差。粒子滤波不解析计算后验而是用 N 个带权重的粒子 (x_k^i, w_k^i) 逼近 p(x_k | z_{1:k})。每帧递推分两步预测步p(x_k | z_{1:k-1}) ∫ p(x_k | x_{k-1}) p(x_{k-1} | z_{1:k-1}) dx_{k-1}更新步p(x_k | z_{1:k}) ∝ p(z_k | x_k) p(x_k | z_{1:k-1})用大白话说预测就是每个粒子按状态方程各自向前跑一步更新则是每个粒子按当前帧的观测给自己打分低分粒子在后续被淘汰。观测似然 p(z_k | x_k^i) 是粒子滤波的“眼睛”。常见做法是提取粒子所在区域的 HSV 颜色直方图与目标初始模板做距离比较。只使用 H 通道可以降低光照亮度分量的干扰如果目标颜色与背景颜色比较接近再加 S 通道做一个联合直方图例如 H 取 16 bin、S 取 8 bin。距离度量常用巴氏距离或平方根距离后续代码里采用巴氏距离。2.2 重要性采样、权重更新与系统重采样粒子滤波并不直接采样后验分布而是从建议分布 q 中采样再用权重修正偏差。视觉跟踪最省事的建议分布就是状态转移先验 p(x_k | x_{k-1})每个粒子先按状态方程撒出去再更新权重。w_k^i w_{k-1}^i * p(z_k | x_k^i) w_k^i w_k^i / sum_j w_k^j这个做法的代价是粒子在没有观测指引前就扩散开了好处是工程实现非常简单粒子数不是太少时跟踪稳定性完全够用。权重更新完之后要做一次系统重采样典型逻辑是先算权重累计和再生成一组均匀分布的游标把每个游标插入到累计区间中寻找对应粒子索引。系统重采样比多项式重采样更均匀计算量也更稳定不容易反复复制同一个权重特别大的粒子。2.3 有效粒子数与退化预警权重更新迭代若干帧后少数粒子的权值会趋近于 1其余粒子权重接近 0这种现象叫粒子退化。退化不处理粒子族收缩到几个点上目标尺度一变或轻微遮挡就可能跟丢。工程上用一个标量判断退化程度N_eff 1 / (sum_i (w_k^i)^2)N_eff 越接近 N粒子越健康N_eff 接近 1说明只有一个粒子在起作用。常见做法是设定阈值N_eff 小于 N/2 时触发重采样也有实现是每帧先重采样再预测。我在做视觉目标跟踪时更倾向每帧都做系统重采样因为视觉观测似然比较平滑提前重采样不会明显损失精度反而能让粒子数长期保持健康。方法假设遮挡/光照变化典型粒子数适用场景卡尔曼滤波线性高斯观测弱不适用匀速运动、雷达/激光跟踪扩展卡尔曼局部线性化弱不适用弱非线性运动无迹卡尔曼高斯近似传播中不适用中等非线性目标状态粒子滤波任意分布离散近似强100~2000视觉目标、多峰歧义场景无迹卡尔曼在部分跟踪场景表现不错前提是目标状态后验接近单峰。粒子滤波的多峰优势在行人遮挡、多目标歧义这些真实场景里更值得利用这也是鲁棒性差异的主要来源。3. 用 PythonOpenCV 跑通粒子滤波视觉跟踪的最小代码3.1 状态定义、粒子初始化与辅助函数拿到一个命名为 particle-filter-visual-tracking 的源码包无论它是 Git 仓库还是一个 rar 压缩包解压出来的目录我都习惯先找带 main 或 demo 的入口再单独看粒子初始化代码。手写核心实现并不长下面是最小可运行版本import cv2 import numpy as np N_PARTICLES 500 class ParticleFilter: def __init__(self, frame, bbox, num_particlesN_PARTICLES): x, y, w, h bbox self.num_particles num_particles self.particles np.zeros((num_particles, 6)) # 状态顺序: u, v, s, vu, vv, weight cx x w / 2.0 cy y h / 2.0 self.particles[:, 0] np.random.normal(cx, w * 0.5, num_particles) self.particles[:, 1] np.random.normal(cy, h * 0.5, num_particles) self.particles[:, 2] np.random.normal(1.0, 0.1, num_particles) # 尺度 self.particles[:, 3] np.random.normal(0.0, 1.0, num_particles) # vx self.particles[:, 4] np.random.normal(0.0, 1.0, num_particles) # vy self.particles[:, 5] 1.0 / num_particles self.region_w w self.region_h h self.template_hist self._histogram(frame, bbox) def _histogram(self, frame, bbox): x, y, w, h [int(v) for v in bbox] roi frame[max(0, y):y h, max(0, x):x w] if roi.size 0: return None hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) hist cv2.calcHist([hsv], [0, 1], None, [16, 8], [0, 180, 0, 256]) hist cv2.normalize(hist, hist).flatten() return hist def _to_bbox(self, p): w max(4, int(self.region_w * p[2])) h max(4, int(self.region_h * p[2])) x int(p[0] - w / 2) y int(p[1] - h / 2) return (x, y, w, h)状态向量共 6 列最后一列是权重。初始时刻以目标框中心为均值框宽高的一半作为标准差撒高斯粒子让第一帧就覆盖目标附近的多个可能位置。尺度 s 初始化为带扰动的高斯分布不是硬编码 1.0这样目标开始缓慢拉近或拉远时粒子族已经有能力描述小幅尺度变化。_to_bbox在后面更新权重和 MCMC 迁移时都要复用。3.2 颜色直方图似然与权重更新观测模型使用 HSV 的 HS 联合直方图巴氏距离越大表示越不相似权重用指数核转换def _likelihood(self, frame, bbox): hist self._histogram(frame, bbox) if hist is None: return 1e-3 # 巴氏距离: 0 表示完全一致, 1 表示完全不一致 d cv2.compareHist(self.template_hist, hist, cv2.HISTCMP_BHATTACHARYYA) return np.exp(-0.2 * d * d) def update(self, frame): weights np.zeros(self.num_particles) for i, p in enumerate(self.particles): bbox self._to_bbox(p) x_c, y_c int(p[0]), int(p[1]) if (x_c 0 or y_c 0 or x_c frame.shape[1] or y_c frame.shape[0]): weights[i] 1e-6 else: weights[i] self._likelihood(frame, bbox) weights 1e-6 self.particles[:, 5] weights / np.sum(weights)模板直方图与候选区域直方图都做了归一化compareHist 才有可比性。指数里的带宽系数 0.2 控制似然函数的尖锐程度调大后只有非常接近模板的粒子能拿到较高权重跟踪框更紧但目标一变形就容易丢调小后粒子分布变宽鲁棒性提升但框会发飘。我一般从 0.1 到 0.4 之间试。越界粒子不是直接丢弃而是给极小权重这样重采样还有机会把粒子从边界拉回目标位置。3.3 系统重采样与主循环完整结构系统重采样实现如下它在多样性和计算量之间比多项式重采样更均衡def resample(self): w self.particles[:, 5] N self.num_particles positions (np.arange(N) np.random.uniform(0, 1)) / N indexes np.zeros(N, dtypenp.int64) cumsum np.cumsum(w) i, j 0, 0 while i N: if positions[i] cumsum[j]: indexes[i] j i 1 else: j 1 self.particles self.particles[indexes] # 重采样后权重恢复均匀, 避免权重集中在少数粒子上 self.particles[:, 5] 1.0 / N主循环把视频流接到预测、更新、重采样三个步骤上cap cv2.VideoCapture(video_path) ok, frame cap.read() bbox cv2.selectROI(select target, frame, False) cv2.destroyWindow(select target) pf ParticleFilter(frame, bbox) while True: ok, frame cap.read() if not ok: break # 状态预测: 恒定速度 高斯过程噪声 pf.particles[:, 0] pf.particles[:, 3] np.random.normal(0, 1.0, pf.num_particles) pf.particles[:, 1] pf.particles[:, 4] np.random.normal(0, 1.0, pf.num_particles) pf.particles[:, 3] * 0.95 pf.particles[:, 4] * 0.95 pf.particles[:, 2] np.random.normal(0, 0.02, pf.num_particles) pf.particles[:, 2] np.clip(pf.particles[:, 2], 0.6, 1.6) pf.update(frame) pf.resample() # 用加权平均估计目标状态, 相当于对粒子族做软投票 xs pf.particles[:, 0] ys pf.particles[:, 1] ss pf.particles[:, 2] sx (xs * pf.particles[:, 5]).sum() sy (ys * pf.particles[:, 5]).sum() scale (ss * pf.particles[:, 5]).sum() w int(pf.region_w * scale) h int(pf.region_h * scale) cv2.rectangle(frame, (int(sx - w / 2), int(sy - h / 2)), (int(sx w / 2), int(sy h / 2)), (0, 255, 0), 2) cv2.imshow(pf, frame) if cv2.waitKey(30) 0xFF ord(q): break过程噪声沿 x、y 方向取 1.0 像素速度阻尼取 0.95防止恒定速度模型在目标减速后继续加速。尺度噪声 0.02、尺度范围 0.6~1.6对行人和车辆的缩放幅度足够。最后的加权平均比取最大权重粒子更稳也比聚类简单。实际运行中最容易出的问题是选框太小模板直方图只有几像素后面权重很难收敛我的做法是强制最小框宽高不小于 16 像素。提示粒子数不是越多越好。在 CPU 上 500 粒子的 HS 直方图方案已经可用盲目加到 2000 只会让每帧延迟明显上升跟踪精度的边际收益非常有限。4. 用自适应过程噪声与 MCMC 迁移提升粒子滤波视觉跟踪鲁棒性4.1 自适应过程噪声解决目标速度突变固定 1.0 像素的过程噪声只适合缓慢运动。目标突然加速时粒子扩散半径跟不上真实位移跟踪框会延后一拍。常见做法是把过程噪声的方差与最近几帧粒子速度的方差挂钩sigma_x clip(beta * std(particles[:, 3]), 0.5, 8.0) sigma_y clip(beta * std(particles[:, 4]), 0.5, 8.0)beta 取 1.2 到 2.0。目标跑得快系统自动把粒子撒得更开目标静止时噪声下限 0.5 也能保证搜索不会彻底停住。更激进的做法是在预测时给每个粒子叠加一个按速度大小调整的牵引项我通常只在目标被判定为可疑跟踪时才启用避免正常跟踪时因为额外抖动导致跟踪框发飘。这个逻辑放在主循环预测之前先算粒子速度的标准差再传给 np.random.normal。4.2 在重采样之后加一步 MCMC 迁移重采样的副作用是重复粒子过多粒子族多样性下降。有时跟踪问题不是权重算错而是重采样后粒子全挤在几个点上下一帧目标稍微移向旁边粒子已经失去先手优势。MCMC 迁移是常用的补救手段对每个重采样后的粒子提出一个候选粒子 x通常用尺度很小的随机游走然后按 Metropolis-Hastings 准则决定是否接受接受概率 alpha min(1, p(z | x) p(x) / (p(z | x) p(x)))其中 p(z | x) 是观测似然p(x) 是状态转移先验。迁移结束后权重保持 1/N 不变保证粒子仍然近似服从目标后验分布。def mcmc_move(self, frame, sigma0.3): current_likelihood np.zeros(self.num_particles) for i, p in enumerate(self.particles): current_likelihood[i] self._likelihood(frame, self._to_bbox(p)) for i in range(self.num_particles): candidate self.particles[i].copy() candidate[0] np.random.normal(0, sigma) candidate[1] np.random.normal(0, sigma) candidate_likelihood self._likelihood(frame, self._to_bbox(candidate)) # 对称随机游走建议分布下, 先验比可近似为 1 if np.random.rand() min(1.0, candidate_likelihood / (current_likelihood[i] 1e-8)): self.particles[i] candidate候选粒子在原来位置附近偏移 0.3 像素正常情况下不会改变跟踪结果但能把重复粒子分散开让下一帧目标移动时少一层“复制品”带来的迟钝。这个操作的代价是额外一次直方图提取500 粒子大约每帧多 2 到 4 毫秒嵌入式设备上可以每隔 5 到 10 帧执行一次不必每帧都做。4.3 遮挡检测与观测模式切换在处理遮挡和临时离开视野时我常用下面的判定策略依据是当前估计区域和目标模板之间的直方图距离 d直方图距离 d状态处理动作0 ~ 0.2可靠跟踪正常粒子预测、更新、重采样0.2 ~ 0.45可疑增大过程噪声、拉大搜索半径、降低重采样频率 0.45遮挡/丢失放弃权重更新、按上一帧速度外推、记录最后可靠位置遮挡期间维持外推的时间我的经验是行人场景里 15 到 30 帧一般足够超过 30 帧还没找到目标就在最后一次可靠位置附近重新撒粒子同时重新采样模板直方图。触发重新撒点的关键不要让粒子在遮挡时继续在背景上累积权重否则目标重新出现时粒子已经被背景特征占据跟踪框会粘在背景上。目标颜色发生剧烈变化时比如行人从深色外套换成白色短袖HSV 直方图距离会直接跳到 0.5 以上。这种情况单靠颜色特征很难救回来我会引入特征融合把颜色直方图和梯度直方图加权求和。颜色权重下降后粒子坐标还能靠梯度特征撑着跟踪框不会立刻飞向背景区域。模板更新也不能每帧都做否则模板会慢慢漂到一个与目标无关的残影上。连续 5 帧直方图距离小于 0.15 时才把模板向当前估计区域移动 10%。这一章的核心目标不是让跟踪永远不会丢而是在跟丢之前先给出置信度提示给上层决策留出接管时间。5. 粒子滤波视觉跟踪落地前的参数定位与离线验证5.1 把 N_eff 和直方图距离打进日志调试粒子滤波最有效的方法不是只看跟踪框而是每次迭代记录几个标量有效粒子数 N_eff、粒子权重方差、估计框与模板的直方图距离、粒子速度均值。把这四个值叠加在视频帧左上角能快速分辨问题出在哪一层。N_eff 一直很低说明重采样时机太早或似然函数过尖直方图距离突然变大但 N_eff 很高说明目标外观特征发生变化速度均值很大但权重方差很小说明过程噪声不够粒子没有覆盖真实运动范围。我用 CSV 落盘的方式处理跑完一段 60 秒测试视频后筛出直方图距离超过 0.45 的帧号再回到这些帧逐帧查看是遮挡、形变还是背景干扰。这样比盯着实时画面更可靠也方便改完参数后做 A/B 对比。5.2 常见症状与调参方向症状优先检查调参方向跟踪框频繁抖动过程噪声过大sigma 减半观察稳定后再微调每次遮挡后必丢粒子数太少或噪声太小粒子数翻倍同时检查重采样频率目标快速移动时滞后恒定速度模型惯量不够速度阻尼调到 0.98增大 sigma 上限跟踪框始终比目标小状态空间缺少尺度更新确认 scale 噪声设置在 0.01~0.05权重集中在少数粒子似然带宽过尖增大指数核带宽系数 0.1→0.3调参时一次只动一个变量。先固定随机种子把所有候选配置在同一个视频集上跑完记录曲线后再比较。5.3 固定随机种子做离线回归落地前最后一个步骤是离线批量评估。把测试视频分成三类目标匀速运动、目标被遮挡后重现、目标外观发生明显变化。同一套粒子滤波配置跑完三类视频输出中心位置误差CLE曲线和重叠成功率曲线。稳定的标志是 CLE 在遮挡段有小尖峰但 20 帧内回落成功率不长期低于 0.5。对比不同粒子数和过程噪声时直接比较曲线下面积即可。粒子滤波视觉跟踪调试最有用的一个技巧是固定 np.random.seed。固定种子后反复调参才有可比性线上运行时再去掉固定种子因为真实场景的随机性不需要复现。正式提交前我最后都会跑一遍固定种子、输出 CSV、计算 CLE 曲线的回归流程确认调整项确实改善了目标场景而不是靠某一次特殊帧侥幸通过。本文还有配套的精品资源点击获取
