这里的样本即指粒子,当样本数量趋于无穷大时可以逼近任何形式的概率密度分布。哈默斯利(Hammersley)等在20世纪50年代末提出了基本的序贯重要性采样方法,并在60年代使其得到了进一步发展。20世纪70年代,Handschin、Akashi以及扎里斯基(Zaritskii)等学者的一系列研究工作使得序贯蒙特卡洛方法得到进一步发展。但上述研究始终未能解决粒子数匮乏的现象和计算量制约等问题,因此未引起人们的重视。20世纪80年代末,计算机处理能力的巨大突破使得序贯蒙特卡洛方法重新受到关注。谷崎(Tanizaki)、沃基(Geweke)等采用基于重要性采样的蒙特卡洛方法成功解决了一系列高维积分问题。史密斯(Smith)与盖尔范德(Gelfand)提出的采样-重采样思想为贝叶斯(Bayesian)推理提供了一种易于实现的计算策略,1993年由戈登(Gordon)等提出了一种新的基于序贯重要性采样的BootStrap非线性滤波方法,从而奠定了粒子滤波算法的基础。美国海军集成水下监控系统中的Nodestar便是粒子滤波应用的一个实例。进入21世纪,粒子滤波成为一个非常活跃的研究领域,杜塞(Doucet)、Liu、阿拉姆帕兰(Arulampalam)等对粒子滤波的研究作了精彩的总结,IEEE出版的论文集“Sequential Monte Carlo Methods in Practice”对粒子滤波进行了详细介绍。2003年,中国学者首次提出高斯-厄米特粒子滤波方法,随后,粒子滤波在中国得到了广泛的研究。
目前的粒子滤波理论主要包括4个方面:①贝叶斯滤波。②蒙特卡洛模拟。③重要性采样。④序列重要性采样。
贝叶斯滤波的中心思想是利用已知的信息获取系统状态变量的后验概率分布,在视觉跟踪中,这种状态变量即下一帧目标的状态。人们用表示
帧内目标物体的状态,用
表示
时刻所有的视频帧,即观测值。贝叶斯滤波可以分为预测和更新两个基本步骤:①预测。在未获得
时刻观测值
的情况下,这一步的目的是实现
时刻的先验概率密度
到
时刻先验概率密度
的推导。如果
已知,则在满足一阶马尔科夫过程的条件下,根据Chapman-Komogorov方程,可以推出:
②更新。在本步中,将利用新得到的观测值(视频帧)和预测步骤中得到的时刻的先验概率密度
对
时刻的后验概率
进行推导,根据贝叶斯公式、条件概率公式和联合分布概率公式,在假设各观测值相互独立的条件下可得:
式中表示似然分布,衡量从状态
转移到
后与观测
的相似度;
表示归一化常数。
蒙特卡洛模拟一般又称统计试验方法或随机抽样方法,它利用生成的随机数进行数值模拟。其核心思想是建立一个与所求解问题相一致的概率模型,使得此模型的参数、某随机变量的期望值或其他特征量可以匹配于该问题。之后通过大量的随机抽样实验,统计出事件出现的频率或随机变量的均值。当实验次数充分地大时,这种统计频率或均值接近概率意义上的结果,就可作为问题的解。
粒子滤波利用非参数化的蒙特卡洛模拟实现贝叶斯滤波。在贝叶斯滤波中,求解和
是典型的求解积分的问题。在贝叶斯滤波方法中处理后验概率
时,如果能从中采样
个粒子,则此后验概率可以做如下近似:
那么通过粒子采样近似,该期望可以近似表示为:
当样本数足够大时,根据大数定理,上述近似的期望值收敛于真实值,即:
蒙特卡洛模拟的应用使后验概率分布的计算可以通过有限的粒子采样后验概率近似,但是从真实的后验概率密度中采样现实中不可行,为了解决此问题,引入了重要性采样的概念。
由于从后验概率分布中采样困难,故上述方法仅仅是理论上成立。而重要性采样将该问题转换为从另一个容易采样的密度函数(称为建议分布)中采样,从而间接获得的数学期望。
将本式带入前式可得:
当使用了重要性采样后,粒子滤波方法具备了实际可操作性,但其还有一定的限制。这是因为在对进行估计时,需要使用
时刻之前所有时刻的数据
,这样在新的数据
到来重新计算整个状态序列的重要性权重时,其计算量将逐渐增大。为了能简化计算,可以将重要性权重进行分解:
现在假设该状态在转移过程中符合一阶马尔可夫过程(即时刻状态的概率仅于
时刻有关),且状态与观测相互独立,则有:
上式中分子中没有出现时刻之前的数据,假如状态估计的过程是最优估计,则参考分布的概率密度函数仅依赖于
和
,即:
因为粒子根据建议分布进行采样,因此合适的建议分布在估计后验概率中非常重要,理想的建议分布应该重要性权重的方差尽可能的小。通常可以选择状态转移先验密度作为建议分布:
因此,重要性权重可以简化为:
上式表明,重要性权重与似然分布成正比,因为似然分布的选择会直接影响粒子滤波方法在视觉跟踪中的性能。另外,随着粒子滤波过程的推进,有的粒子权重会逐渐增大以致出现粒子退化问题,这就需要引入重采样机制以平衡权重。
粒子滤波器具有简单、易于实现等特点,它为分析非线性动态系统提供了一种有效的解决方法,从而引起信号处理、自动控制等领域的广泛关注。此外,随着半导体技术的发展,计算资源的性价比越来越高,粒子滤波又逐渐成为科学、工程和金融领域中重点关注的技术。粒子滤波已在数字通信、金融领域数据分析、统计学、图像处理、计算机视觉、自适应估计、语音信号处理、机器学习等领域展开应用研究。
粒子滤波领域的国际权威期刊包括:IEEE信号处理(IEEE Transactions on Signal Processing)、IEEE模式分析与机器智能(IEEE Transactions on Pattern Analysis and Machine Intelligence, T-PAMI)、IEEE自动控制(IEEE Transactions ON Automatic Control)、自动化(Automatic)、工程和信息科学中的统计学(Statistics for Engineering and Information Science)等。几十年来,粒子滤波在采样、估计等方面取得了极大的进步。
除了具有重要的理论研究意义以外,粒子滤波还具备广阔的应用前景和潜在的商业价值。举例如下:①物体跟踪。对物体进行定位和跟踪是典型的动态系统状态估计问题,在模型满足高斯线性条件下,卡尔曼滤波器可获得最好的跟踪效果。但在现实场景的运动模型中,线性、高斯假设条件常常不能满足,易出现滤波精度下降和发散现象。将粒子滤波方法应用到现实场景的跟踪问题中,可以获得较好的跟踪精度。②金融数据分析。金融领域的许多问题(如证券投资走向分析、风险投资最优决策等)都可归结为模糊随机系统估值问题。有研究利用粒子滤波方法处理风险估值问题,其使用分位数重要性重采样方法给出了利率的最佳估计,进而确定最合理的投资组合。总的来说,粒子滤波对于处理基于随机波动模型和风险估值的金融数据有着良好的应用前景。③状态监视与故障诊断。状态监视的实质是状态的在线估计,故障诊断是一定准则下的状态异常检测。有研究采用粒子滤波方法在汽车辅助避碰系统中取得了较好的效果;粒子滤波方法还应用于不完全量测信息下非线性模型中,如人体行为异常检测。
此外,粒子滤波已在军事、自动控制、图像处理等领域得到了广泛应用,并产生了实际的商业效益,对社会经济、工业生产等具有很大的贡献。
粒子滤波作为一种基于贝叶斯推断的非线性算法,在处理非高斯非线性时变系统的参数估计和状态滤波问题方面有独到的优势,在实际场景中涌现了许多应用。但粒子滤波方法仍有大量的问题亟待解决,主要体现在以下几个方面:①重要性函数的选取。重要性函数的选取直接影响粒子滤波性能的高低。虽然出现了许多针对实际问题的改进算法,但对通用问题缺乏一般借鉴意义。根据系统的先验信息进行建模,获得系统更多信息后,再进行重要性函数选择,成为目前重要性函数选取研究方向的热点。②收敛性问题。从粒子滤波的数学基础上看,粒子滤波的收敛性验证尚未解决。若能有效解决收敛性问题,则会对粒子匮乏现象的抑制有很大帮助。同时作为滤波算法,如何评价粒子滤波的性能也是继续研究的方向。③多种非线性滤波方法的结合。虽然粒子滤波能有效解决非高斯、非线性系统的滤波问题,但由于其算法运算的实时性问题、状态初始概率选取问题,使粒子滤波尚不能完全满足工程应用。根据系统不同阶段体现出的不同统计特性,将粒子滤波与其他非线性滤波方法结合,避免非线性系统的近似线性化,减小非线性系统线性化后的高阶截断误差和非高斯噪声带来的影响,是实际问题中采用粒子滤波方法的又一重大研究方向。