基于多特征信息融合粒子滤波的红外目标跟踪
孙艳丽+周伟+李建海
摘 要： 多特征信息有较好的检测性能和适应性， 而粒子滤波则是一种处理目标跟踪模型的非线性和非高斯特点的有效方法，将两者优点结合并针对红外图像特点，提出一种基于多特征信息融合的跟踪算法，该方法按一定的权值系数利用目标颜色和纹理特征构建模型，并融合于粒子滤波框架中。实验表明该跟踪方法能准确地跟踪海上红外运动目标。
关键词： 粒子滤波； 纹理特征； 多特征融合； 目标跟踪
中图分类号： TN929.1?34 文献标识码： A 文章编号： 1004?373X（2017）13?0009?04
Abstract： Since the multi?feature information has perfect detection and adaptation performances， and the particle filtering is an effective method to process the nonlinear and non?Gaussian characteristics of the target tracking model. The advantages of the above items are combined to propose a tracking algorithm based on multi?feature information fusion for the characteristics of the infrared image. The target color and textural feature are adopted in the method to construct the model according to a certain weight coefficient. The model is fused to the frame of particle filtering. The experimental result shows that the tracking algorithm can track the maritime infrared moving target accurately.
Keywords： particle filtering； textural feature； multi?feature fusion； target tracking
0 引 言
视觉跟踪技术经过二十多年的发展取得了丰硕的研究成果，涌现出了一批经典跟踪算法，其中2000年前后M. Isard和Comaniciu提出的粒子滤波跟踪方法[1]和均值偏移跟踪方法[2]最具代表性，至今仍是视觉跟踪中研究的焦点问题。在随后的几年，视觉跟踪技术的发展多转向对目标描述的研究。目标描述主要包括目标的形状描述和外观描述，形状描述主要研究目标几何模型的表示方法；外观描述主要研究目标特征的描述和选择方法，在视觉跟踪中通常选择那些能有效区分目标和相邻背景或干扰的特征来描述目标的外观，比较具有代表性的研究成果如Collins等提出的基于Fisher准则的特征选择方法[3]；Avidan提出的基于AdaBoost的特征选择方法[4]。另外，基于多特征融合的方法[5]也是目标描述的一个重要研究方向，该思路主要利用跟踪过程中目标特征之间的互补性实现目标描述的增强，进而达到提高跟踪性能的目的。
视觉跟踪可以归结为状态估计问题，解决状态估计问题最常用的方法是贝叶斯滤波方法，贝叶斯滤波一般通过状态预测和状态更新两个步骤实现。只要获得了目标状态的后验概率分布，根据相应的估计方法（如最大似然估计、最大后验估计）就可以估计出目标的状态，从而进一步获得目标的运动信息。
在贝叶斯滤波中，粒子滤波更具一般性，其最突出的优点是不受模型限制进行状态估计，能够处理任何非线性、非高斯模型问题，主要是用赋予权值的粒子来确定目标的后验概率分布，一旦求出目标状态后验概率分布，根据某些估计准则就可以计算出目标的位置及相关运动信息状态。
在跟踪过程中似然模型的选择至关重要，只有构建选择区分性好、稳定性高的视觉特征建立似然模型，算法才能实现目标跟踪。但跟踪算法对目标外观特征变化较为敏感，同时视觉特征的相似性度量也很重要，如果其分辨率较强，那么目标状态后验概率密度分布就会比较尖锐，从而能够有效地区分目标信号和干扰信号，因此选择鲁棒性高且区分度好的相似性测度非常重要。
目标特征是构造粒子滤波似然模型的重要因素，一个好的特征能够适应跟踪环境的变化，始终保持其有效性。但现实跟踪过程中，目标特征并不是时刻有效，如果采用单一特征，若在某一时刻特征失效，跟踪就会出现偏移甚至丢失目标，因此跟踪过程中采用多特征描述目标，加强互补性，就能相应的提高跟踪算法的抗干扰性和跟踪精度。因此，本文给出一种基于目标颜色和LBP（Local Binary Patterns）纹理特征信息融合的海上红外运动目标跟踪方法，实验表明该跟踪方法能准确实现跟踪。
1 粒子滤波
设和分别表示时刻目标的状态和量测，则目标跟踪可以归结为目标状态后验概率分布估计问题，其中表示目标到当前时刻的所有量测。假设目标当前状态只和目标前一时刻相关，不同时刻的量测相互独立，则的估计可以分为以下预测和更新两步，即：
在实际中，由于目标的状态演化模型通常是非线性、非高斯性，上述问题难以给出其解析解，所以在实际应用中通常用蒙特卡洛仿真的方法实现粒子滤波问题，其基本思想方法是给定一组加权粒子来逼近其中表示粒子个数。时刻粒子可以通过建议分布产生，即其权值为：
则新粒子逼近。
2 目标特征描述
2.1 LBP特征
LBP是機器视觉领域中用于分类的一种特征，最初是由芬兰学者Ojala在1994年提出[6]，在纹理分类问题上是一种非常强大的特征；若将LBP特征和方向梯度特征结合，则可以在一些集合上十分有效的提升检测效果。LBP是一种描述图像局部纹理的特征，主要是将中心像素和相邻的像素对比，并把结果保存为二进制数。由于其分辨力强大和计算简单，并且对光照变化具有鲁棒性，这使得LBP特征在目标检测和人脸识别等领域得到广泛的应用。
最初的LBP算子如图1所示，在以某一像素为中心的的图像窗口内，以该像素灰度值为阈值，与相邻的8个像素的灰度值相比较，若中心像素灰度值大，则相邻灰度值记为0，若相邻灰度值大则记为1。这样，邻域的8个点为8位的0或1，化为十进制数即该中心像素点的LBP值。
Ojala等对最初的LBP进行改进，邻域设置为圆形，并将8邻域进行扩展，即允许在以中心像素圆点半径为的圆形邻域内计算像素值，从而得到大量采样点的LBP算子[7]。改进后的算法能够满足不同尺度的纹理特征。为在灰度不变前提下再满足旋转不变性特点，Maenpaa等人提出了均匀LBP算子，该算法通过不断旋转圆形邻域得到大量LBP值，选择最小值为该中心像素的LBP值。
本文在计算LBP特征时，为了避免LBP模式过多，同时又保证LBP特征的旋转、灰度不变性，选择采用9种均匀LBP模式，27种旋转不变的LBP模式来描述纹理特征[8]。
对于给定的图像区域，LBP特征向量可以通过如下方式计算：
（1） 将图像区域分为区块（例如，每个区块有个像素）；
（2） 对区块中的每个像素，与其8邻域像素进行比较，获得8位二进制数；
（3） 对每一个区块计算直方图；
（4） 串联所有区块的直方图，并归一化得到图像区域的LBP特征向量。
2.2 灰度特征
对于红外图像，由于其反应的是目标红外热辐射特征，颜色信息贫乏，所以用灰度直方图来描述目标热辐射特征的分布。假定候选目标中心点坐标为核窗半径为则候选目标图像区域的灰度分布为[7]：
式中：为bin指标映射函数，用来计算像素点颜色特征所属的bin指标；为Kronecker函数；为核窗半径；为Epanechnikov核函数；为归一化参数，使得
2.3 似然模型
假设目标灰度直方图模型为LBP特征模型为对于给定的采样粒子其似然值模型为：
（5）
式中：为似然模型平滑常数；表示直方图的巴氏系数；表示粒子的量测值；和分别表示对应图像区域的灰度直方图和LBP特征直方图。
2.4 运动模型
由于目标运动的随机性，选取随机游走模型描述目标状态的演化。假设和表示目标在时刻的状态，则状态演化模型[9?10]为：
式中。
3 算法步骤
对于给定的粒子集目标灰度特征直方图模型和LBP特征直方图模型的构建如下：
（1） 根据状态演化模型式（5）进行预测；
（2） 计算每个粒子的灰度特征分布和LBP特征分布；
（3） 根据似然模型式（6）和式（3）计算每个粒子的权值，并进行归一化；
（4） 根据粒子的权值计算粒子的加权平均值；
（5） 重采样得新粒子集。
4 实 验
本文对两组海上红外运动目标视频序列进行跟踪测试。在本文跟踪算法中，目标状态向量定义为其中为粒子对应图像区域的中心点坐标，表示目标尺度变化率，本文为简单起见，假定目标长宽变化速度一样。建议分布采用状态一步预测；灰度特征量化为32个等级，LBP特征采用9種均匀LBP模式，27种旋转不变的LBP模式描述纹理特征。
序列Ⅰ描述的场景是海上一艘船从图像的左侧往图像的右侧航行，视频的开始由于摄像头的移动，船只的位置很快从图像的右侧变换到左侧，然后摄像头保持静止，船只继续从图像左侧往右侧航行。图2给出了船只目标的部分跟踪结果，可以看出，本文算法能够一直跟踪上运动目标，但在一些帧出现较小的跟踪位置和尺度偏差。
序列Ⅱ描述的场景也是海上一艘船从图像的左侧往图像的右侧航行，但由于摄像头的抖动，船只目标出现了上下快速的移动，而且该船只目标中间成像较暗，两头成像亮。图3给出了目标的部分跟踪结果，可以看出，虽然由于摄像头的抖动导致目标上下晃动，但本文算法依然能较为准确的跟踪上目标。
5 结 论
本文在粒子滤波理论框架下，将灰度特征和LBP特征相结合实现红外目标跟踪，由于在跟踪过程中，灰度特征和LBP特征能够互补，提高了算法的抗干扰性和精度，实验表明该跟踪方法能准确实现跟踪。
参考文献
[1] ISARD M， BLAKE A. CONDENSATION： conditional density propagation for visual tracking [J]. International journal of computer vision， 1998， 29（1）： 5?28.
[2] COMANICIU D， RAMESH V， MEER P. Kernel?based object tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2003， 25（5）： 564?575.
[3] COLLINS R T， LIU Y， LEORDEANU M. Online selection of discriminative tracking features [J]. IEEE transactions on pattern analysis and machine intelligence， 2005， 27（10）： 1631?1643.
[4] AVIDAN S. Ensemble tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（2）： 261?271.
[5] P?REZ P， VERMAAK J， BLAKE A. Data fusion for visual tracking with particles [J]. Proceedings of IEEE， 2004， 92（3）： 495?513.
[6] OJALA T， PIETIKAINEN M， HARWOOD D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions [C]// Proceedings of the 12th IAPR International Conference on Pattern Recognition. Jerusalem： IEEE， 1994： 582?585.
[7] OJALA， T， PIETIKAINEN M， MAENPA T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971?987.
[8] AHONEN T， HADID A， PIETIKAINEN M. Face recognition with local binary patterns [C]// Proceedings of 2004 European International Conference on Computer Vision. [S.l.]： Springer， 2004： 469?481.
[9] XU Sheng， FANG Tao， LI Deren， et al. Object classification of aerial images with bag?of?visual words [J]. IEEE geoscience and remote sensing letters， 2010， 7（2）： 366?370.
[10] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.
摘 要： 多特征信息有较好的检测性能和适应性， 而粒子滤波则是一种处理目标跟踪模型的非线性和非高斯特点的有效方法，将两者优点结合并针对红外图像特点，提出一种基于多特征信息融合的跟踪算法，该方法按一定的权值系数利用目标颜色和纹理特征构建模型，并融合于粒子滤波框架中。实验表明该跟踪方法能准确地跟踪海上红外运动目标。
关键词： 粒子滤波； 纹理特征； 多特征融合； 目标跟踪
中图分类号： TN929.1?34 文献标识码： A 文章编号： 1004?373X（2017）13?0009?04
Abstract： Since the multi?feature information has perfect detection and adaptation performances， and the particle filtering is an effective method to process the nonlinear and non?Gaussian characteristics of the target tracking model. The advantages of the above items are combined to propose a tracking algorithm based on multi?feature information fusion for the characteristics of the infrared image. The target color and textural feature are adopted in the method to construct the model according to a certain weight coefficient. The model is fused to the frame of particle filtering. The experimental result shows that the tracking algorithm can track the maritime infrared moving target accurately.
Keywords： particle filtering； textural feature； multi?feature fusion； target tracking
0 引 言
视觉跟踪技术经过二十多年的发展取得了丰硕的研究成果，涌现出了一批经典跟踪算法，其中2000年前后M. Isard和Comaniciu提出的粒子滤波跟踪方法[1]和均值偏移跟踪方法[2]最具代表性，至今仍是视觉跟踪中研究的焦点问题。在随后的几年，视觉跟踪技术的发展多转向对目标描述的研究。目标描述主要包括目标的形状描述和外观描述，形状描述主要研究目标几何模型的表示方法；外观描述主要研究目标特征的描述和选择方法，在视觉跟踪中通常选择那些能有效区分目标和相邻背景或干扰的特征来描述目标的外观，比较具有代表性的研究成果如Collins等提出的基于Fisher准则的特征选择方法[3]；Avidan提出的基于AdaBoost的特征选择方法[4]。另外，基于多特征融合的方法[5]也是目标描述的一个重要研究方向，该思路主要利用跟踪过程中目标特征之间的互补性实现目标描述的增强，进而达到提高跟踪性能的目的。
视觉跟踪可以归结为状态估计问题，解决状态估计问题最常用的方法是贝叶斯滤波方法，贝叶斯滤波一般通过状态预测和状态更新两个步骤实现。只要获得了目标状态的后验概率分布，根据相应的估计方法（如最大似然估计、最大后验估计）就可以估计出目标的状态，从而进一步获得目标的运动信息。
在贝叶斯滤波中，粒子滤波更具一般性，其最突出的优点是不受模型限制进行状态估计，能够处理任何非线性、非高斯模型问题，主要是用赋予权值的粒子来确定目标的后验概率分布，一旦求出目标状态后验概率分布，根据某些估计准则就可以计算出目标的位置及相关运动信息状态。
在跟踪过程中似然模型的选择至关重要，只有构建选择区分性好、稳定性高的视觉特征建立似然模型，算法才能实现目标跟踪。但跟踪算法对目标外观特征变化较为敏感，同时视觉特征的相似性度量也很重要，如果其分辨率较强，那么目标状态后验概率密度分布就会比较尖锐，从而能够有效地区分目标信号和干扰信号，因此选择鲁棒性高且区分度好的相似性测度非常重要。
目标特征是构造粒子滤波似然模型的重要因素，一个好的特征能够适应跟踪环境的变化，始终保持其有效性。但现实跟踪过程中，目标特征并不是时刻有效，如果采用单一特征，若在某一时刻特征失效，跟踪就会出现偏移甚至丢失目标，因此跟踪过程中采用多特征描述目标，加强互补性，就能相应的提高跟踪算法的抗干扰性和跟踪精度。因此，本文给出一种基于目标颜色和LBP（Local Binary Patterns）纹理特征信息融合的海上红外运动目标跟踪方法，实验表明该跟踪方法能准确实现跟踪。
1 粒子滤波
设和分别表示时刻目标的状态和量测，则目标跟踪可以归结为目标状态后验概率分布估计问题，其中表示目标到当前时刻的所有量测。假设目标当前状态只和目标前一时刻相关，不同时刻的量测相互独立，则的估计可以分为以下预测和更新两步，即：
在实际中，由于目标的状态演化模型通常是非线性、非高斯性，上述问题难以给出其解析解，所以在实际应用中通常用蒙特卡洛仿真的方法实现粒子滤波问题，其基本思想方法是给定一组加权粒子来逼近其中表示粒子个数。时刻粒子可以通过建议分布产生，即其权值为：
则新粒子逼近。
2 目标特征描述
2.1 LBP特征
LBP是機器视觉领域中用于分类的一种特征，最初是由芬兰学者Ojala在1994年提出[6]，在纹理分类问题上是一种非常强大的特征；若将LBP特征和方向梯度特征结合，则可以在一些集合上十分有效的提升检测效果。LBP是一种描述图像局部纹理的特征，主要是将中心像素和相邻的像素对比，并把结果保存为二进制数。由于其分辨力强大和计算简单，并且对光照变化具有鲁棒性，这使得LBP特征在目标检测和人脸识别等领域得到广泛的应用。
最初的LBP算子如图1所示，在以某一像素为中心的的图像窗口内，以该像素灰度值为阈值，与相邻的8个像素的灰度值相比较，若中心像素灰度值大，则相邻灰度值记为0，若相邻灰度值大则记为1。这样，邻域的8个点为8位的0或1，化为十进制数即该中心像素点的LBP值。
Ojala等对最初的LBP进行改进，邻域设置为圆形，并将8邻域进行扩展，即允许在以中心像素圆点半径为的圆形邻域内计算像素值，从而得到大量采样点的LBP算子[7]。改进后的算法能够满足不同尺度的纹理特征。为在灰度不变前提下再满足旋转不变性特点，Maenpaa等人提出了均匀LBP算子，该算法通过不断旋转圆形邻域得到大量LBP值，选择最小值为该中心像素的LBP值。
本文在计算LBP特征时，为了避免LBP模式过多，同时又保证LBP特征的旋转、灰度不变性，选择采用9种均匀LBP模式，27种旋转不变的LBP模式来描述纹理特征[8]。
对于给定的图像区域，LBP特征向量可以通过如下方式计算：
（1） 将图像区域分为区块（例如，每个区块有个像素）；
（2） 对区块中的每个像素，与其8邻域像素进行比较，获得8位二进制数；
（3） 对每一个区块计算直方图；
（4） 串联所有区块的直方图，并归一化得到图像区域的LBP特征向量。
2.2 灰度特征
对于红外图像，由于其反应的是目标红外热辐射特征，颜色信息贫乏，所以用灰度直方图来描述目标热辐射特征的分布。假定候选目标中心点坐标为核窗半径为则候选目标图像区域的灰度分布为[7]：
式中：为bin指标映射函数，用来计算像素点颜色特征所属的bin指标；为Kronecker函数；为核窗半径；为Epanechnikov核函数；为归一化参数，使得
2.3 似然模型
假设目标灰度直方图模型为LBP特征模型为对于给定的采样粒子其似然值模型为：
（5）
式中：为似然模型平滑常数；表示直方图的巴氏系数；表示粒子的量测值；和分别表示对应图像区域的灰度直方图和LBP特征直方图。
2.4 运动模型
由于目标运动的随机性，选取随机游走模型描述目标状态的演化。假设和表示目标在时刻的状态，则状态演化模型[9?10]为：
式中。
3 算法步骤
对于给定的粒子集目标灰度特征直方图模型和LBP特征直方图模型的构建如下：
（1） 根据状态演化模型式（5）进行预测；
（2） 计算每个粒子的灰度特征分布和LBP特征分布；
（3） 根据似然模型式（6）和式（3）计算每个粒子的权值，并进行归一化；
（4） 根据粒子的权值计算粒子的加权平均值；
（5） 重采样得新粒子集。
4 实 验
本文对两组海上红外运动目标视频序列进行跟踪测试。在本文跟踪算法中，目标状态向量定义为其中为粒子对应图像区域的中心点坐标，表示目标尺度变化率，本文为简单起见，假定目标长宽变化速度一样。建议分布采用状态一步预测；灰度特征量化为32个等级，LBP特征采用9種均匀LBP模式，27种旋转不变的LBP模式描述纹理特征。
序列Ⅰ描述的场景是海上一艘船从图像的左侧往图像的右侧航行，视频的开始由于摄像头的移动，船只的位置很快从图像的右侧变换到左侧，然后摄像头保持静止，船只继续从图像左侧往右侧航行。图2给出了船只目标的部分跟踪结果，可以看出，本文算法能够一直跟踪上运动目标，但在一些帧出现较小的跟踪位置和尺度偏差。
序列Ⅱ描述的场景也是海上一艘船从图像的左侧往图像的右侧航行，但由于摄像头的抖动，船只目标出现了上下快速的移动，而且该船只目标中间成像较暗，两头成像亮。图3给出了目标的部分跟踪结果，可以看出，虽然由于摄像头的抖动导致目标上下晃动，但本文算法依然能较为准确的跟踪上目标。
5 结 论
本文在粒子滤波理论框架下，将灰度特征和LBP特征相结合实现红外目标跟踪，由于在跟踪过程中，灰度特征和LBP特征能够互补，提高了算法的抗干扰性和精度，实验表明该跟踪方法能准确实现跟踪。
参考文献
[1] ISARD M， BLAKE A. CONDENSATION： conditional density propagation for visual tracking [J]. International journal of computer vision， 1998， 29（1）： 5?28.
[2] COMANICIU D， RAMESH V， MEER P. Kernel?based object tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2003， 25（5）： 564?575.
[3] COLLINS R T， LIU Y， LEORDEANU M. Online selection of discriminative tracking features [J]. IEEE transactions on pattern analysis and machine intelligence， 2005， 27（10）： 1631?1643.
[4] AVIDAN S. Ensemble tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（2）： 261?271.
[5] P?REZ P， VERMAAK J， BLAKE A. Data fusion for visual tracking with particles [J]. Proceedings of IEEE， 2004， 92（3）： 495?513.
[6] OJALA T， PIETIKAINEN M， HARWOOD D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions [C]// Proceedings of the 12th IAPR International Conference on Pattern Recognition. Jerusalem： IEEE， 1994： 582?585.
[7] OJALA， T， PIETIKAINEN M， MAENPA T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971?987.
[8] AHONEN T， HADID A， PIETIKAINEN M. Face recognition with local binary patterns [C]// Proceedings of 2004 European International Conference on Computer Vision. [S.l.]： Springer， 2004： 469?481.
[9] XU Sheng， FANG Tao， LI Deren， et al. Object classification of aerial images with bag?of?visual words [J]. IEEE geoscience and remote sensing letters， 2010， 7（2）： 366?370.
[10] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.
