基于Mean Shift算法的网球运动视频目标跟踪研究
王皓蜀
摘 要： 传统Mean Shift算法在运动目标运动速度过快以及被遮挡的情况下，算法的跟踪效果较差。因此，提出基于改进Mean Shift算法的网球运动视频目标跟踪方法，分析Mean Shift算法进行网球运动视频目标跟踪的过程以及存在的弊端。采用最小二乘法对Mean Shift算法进行改进，利用最小二乘法预测网球运动视频目标位置，在该位置上实施迭代跟踪，再用Mean Shift算法得到目标最终跟踪位置，解决目标运动速度过快以及遮挡问题的干扰，减小各帧检索时矢量同收敛点的距离，提高跟踪效率。实验结果说明，所提方法具有较高的跟踪效果和跟踪效率。
关键词： Mean Shift算法； 网球运动； 视频目标； 跟踪研究
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）13?0073?04
Abstract： Since the tracking effect of the traditional Mean Shift algorithm is poor in the situations that the speed of the moving object is fast， and the moving object is blocked out， an improved Mean Shift algorithm based video object tracking method of tennis sports is proposed. The process and shortcomings of the Mean Shift algorithm to perform the video object tracking of the tennis sports are analyzed. The least square method is used to improve the Mean Shift algorithm， and predict the video object location of tennis sports. The iterative tracking is carried out for this position. The Mean Shift algorithm is adopted to get the final target tracking position， solve the problems of fast target movement speed and interference shielding， reduce the distance between the vector and convergence point when each frame is retrieved， and improve the tracking efficiency. The experimental results show that the method has high tracking performance and tracking efficiency.
Keywords： Mean Shift algorithm； tennis sports； video object； tracking research
0 引 言
随着计算机技术的快速发展，计算机视觉技术在人们的生产和生活中的应用价值也逐渐提升。视频目标跟踪是计算机视觉领域分析的热点，其广泛应用在各项体育运动训练和比赛过程中，对运动目标进行准确分类和跟踪，对提高网球运动的质量具有重要意义[1]。但是受到网球运动目标自身因素以及外部环境因素的干扰，使得网球运动视频目标跟踪算法的性能降低。特别是传统均值偏移跟踪算法（Mean Shift跟踪算法）在网球运动视频目标原始位置实施迭代的收敛过程中，在运动目标运动速度过快以及被遮挡的情况下，算法的跟踪效果较差[2]。因此，提出基于改进Mean Shift算法的网球运动视频目标跟踪算法，提高目标跟踪的效率和精度。
1 Mean Shift算法
Mean Shift跟踪算法是一种依据特征概率密度统计的建模方法，其跟踪运动目标时，在视频序列的首帧手动选择目标范围，塑造对应的目标颜色直方图。因为Mean Shift算法在目标原始位置实施迭代收敛，受到目标运动速度以及目标遮挡状态的干扰，导致目标跟踪精度降低。通过最小二乘法能够处理该种弊端，先通过最小二乘法预测网球运动视频目标位置[3]，在该位置实施迭代跟踪，再通过Mean Shift算法获取网球运动视频目标的最终跟踪位置。
1.1 Mean Shift算法
假设在维空间内的个样本点是则在点的Mean Shift向量为：
式中：表示高维球体，该球体的半径是基于式（1）可得，Mean Shift向量是描述进入球体范围内，个点相对于点的偏移向量之和的平均值。
如果概率密度函数是从该函数采样获取由于在梯度方向具有最高的提升速度，则范围内的样本点取平均值后，会处于的梯度方向，则指向概率密度梯度的方向。对Mean Shift算法实施扩展，融入核函数，随着样本点同偏移点距离的波动[4]，其偏移量对均值偏移向量的干扰也产生波动，并且还融入了权重系数，描述不同样本点的价值度。将式（1）扩展成下式：
式中：是单位核函数；是带宽矩阵，是正定对称的矩阵，设置为对角阵，是樣本点的权重系数。则将式（2）变换成：
1.2 Mean Shift算法的工作过程
将式（3）变换成：
对已知样本点核函数值是Mean Shift算法过程如下：
（1） 运算；
（2） 若终止循环，否则继续；
（3） 设置运行式（4）。
基于式（4）可得则Mean Shift算法的原理是该算法向量持续向概率密度梯度的方向变换[5]，最终收敛到周围的峰值。
1.3 Mean Shift的运动视频目标跟踪
通过半自动方法在网球运动视频序列内手动获取待跟踪的目标，采用颜色直方图对目标特征实施描述。在网球运动视频帧内，在运动目标范围中设置一个核函数，对运动目标的颜色直方图实施运算，获取一个空间平沿的相似性函数，该函数用于描述候选目标同目标模板间的相似性。如果相似性函数值为最高，则可从网球运动视频目标跟踪过程看出求解相似性函数最高值的过程。先在待分析的网球运动视频中选择要跟踪的目标，再对目标范围中的全部像素点、运算像素点特征范围中各特征值的概率塑造运动目标的模板[6]。后续的图像序列在可能包含目标的候选区域内运算特征空间的全部特征值，综合分析候选模型。将Epanechikov函数当成核函数，运算候选目标同目标模型间的相似性函数，对候选目标同目标模型间的相似性函数实施运算，求解相似性函数的最高值获取目标的Mean Shift向量，该向量是目标从原始位置向准确位置变换的向量，Mean Shift向量逐渐向真实网球运动视频目标位置方向变动，如果相似性函数的值最高，则获取目标位置，完成网球运动视频目标的准确跟踪。
Mean Shift进行目标跟踪的原理如下：
（1） 塑造网球运动视频目标模型。构建网球运动视频目标的颜色直方图，通过人机交互手段，手动选择网球运动视频目标范围。将HSV颜色特征当成目标的特征区域，则网球运动视频目标模型可用于描述HSV特征值的概率值[7]，若目标范围中心点是则网球运动视频目标模板的概率密度分布为：
（2） 塑造候选模型。塑造候选的颜色核直方图，如果候选目标范围中心是则候选模型的概率密度分布为：
（3） 相似性度量。将Bhattacharyya系数当成相似性函数，值越高，说明候选目标同目标模板间的相似度越高：
（4） 网球运动视频目标定位。Mean Shift向量在前一帧的网球运动视频目标中心位置点持续偏移到新位置[8]，检索最佳匹配点先在位置对式（7）进行泰勒展开，则有：
式（8）的最高值是相似性函数的最高值，可确保Mean Shift理论持续获取新的直至得到目标的最终位置。
则依据颜色直方图的Mean Shift网球运动视频目标跟踪算法的过程如下：
（1） 初始化，将前帧网球运动视频目标的最终位置当成即刻帧目标的原始位置，运算分析：
（2） 通过式（8）运算权重值；
（3） 依据Mean Shift矢量运算目标的位置：
（4） 运算和相似性函数：
（5）如果则运行
（6） 如果则停止；否则设置运行步骤（1）。
Mean Shift算法通过颜色直方图建模，在网球运动视频目标存在形变和背景波动的状态中，具有较高的稳定性。如果运动目标存在遮挡，该算法的跟踪效果不够理想，并且该种算法在目标原始点位置实施目标迭代检索过程中[9]，若运动目标运动效率较高，跟踪目标存在较高的偏差。
2 改进Mean Shift算法的网球运动视频目标跟踪
Mean Shift算法从网球运动员原始位置对目标实施迭代搜索，如果网球运动员运动速率较快，相邻区域不存在目标混合区域情况下，Mean Shift算法的跟踪效果大大降低，容易形成跟踪失败的问题。因此，采用最小二乘预测算法改进Mean Shift算法，也就是Least Square算法，在检索后续目标过程中，先通过最小二乘法预测目标位置，再采用Mean Shift算法在预测位置实施迭代跟踪。通过颜色直方图描述网球运动视频中运动目标的特征，设置运动目标的中心位置坐标是若分别是时间的三次方程，则有：
将Mean Shift算法前帧的跟踪结果的中心位置当成最小二乘曲线拟合的样本点，则有，分别采用式（1）和式（2）对方向实施曲线拟合，获取拟合方差。将融入两个方程内，获取当前帧的预测结果。将该结果当成Mean Shift算法的原始检索位置开始迭代，再通过Mean Shift算法得到网络运动视频目标的最终跟踪位置，缩小各帧搜索时矢量离收敛点的距离，极大地提高了算法的跟踪效率。改进算法的流程如图1所示。
3 实验结果与分析
通过实验检测改进Mean Shift算法的网球运动视频目标跟踪方法的性能。实验环境是PC機，双核CPU的主频是1.5 GHz，采用Visual Studio 2005以及Open CV 1.0的平台进行检测。设置本文方法中最小二乘曲线拟合的样本点数是6。第一组实验视频是某比赛中网球训练视频中的运动员，因为运动员的运动速度较快，相邻视频目标帧间的目标混合范围较少，相邻两帧具有较高的位移。本文方法和传统方法的跟踪结果分别如图2和图3所示。对比分析两图可以看出：本文方法比传统方法的鲁棒性更高，特别是在第28帧以及142帧运动员被微遮挡状态下，传统方法存在跟踪滞后问题，而本文方法能够解决遮挡引起的跟踪失败，跟踪结果更为准确。
第二组实验视频内，网球运动员的运动轨迹是动态的，目标运动速率较快，相邻两帧目标的重叠区域较低，从图4中能够看出，目标在转弯过程中，传统方法无法对目标进行跟踪。
在图4和图5两组视频内，目标是通过手动进行选择的，统计二组视频内平均迭代次数和处理时间，结果如表1所示。能够看出本文方法的迭代次数和处理时间都显著优于传统方法，具有较高的网球运动视频目标跟踪效率。
4 结 论
本文研究了基于改进Mean Shift算法的网球运动视频目标跟踪方法，其采用最小二乘法预测目标位置，在该位置上实施迭代跟踪，采用Mean Shift算法得到目标的最终跟踪位置，解决了传统方法在目标原始位置实施迭代收敛过程中，运动目标运动速度过快以及被遮挡情况下，跟踪效果差的弊端。
参考文献
[1] 卢旭，刘军，袁飞.基于移动Sink的自组织视频传感网络目标跟踪算法[J].传感技术学报，2016，29（9）：1430?1434.
[2] 于晓涵，孙艳丽，柳超.改进的特征匹配雷达视频运动目标跟踪算法[J].海军航空工程学院学报，2016，31（1）：27?33.
[3] 陈定坤，杨艳.一种改进的Mean?shift运动目标跟踪算法[J].半导体光电，2015，36（1）：160?164.
[4] 聂振钢，孙协昌，梁银川.基于多特征Mean?Shift的灵巧弹药末制导跟踪算法[J].微电子学与计算机，2016，33（5）：89?91.
[5] 肖庆国，叶庆卫，周宇，等.基于Mean?Shift优化的TLD视频长时间跟踪算法[J].计算机应用研究，2015，32（3）：925?928.
[6] 杨夏.基于嵌入式Linux的运动目标跟踪视频监控系统[J].西南师范大学学报（自然科学版），2016，41（11）：148?154.
[7] 杨德红，闫河，刘婕，等.HLBP纹理特征Mean Shift目标跟踪算法[J].计算机工程与设计，2016，37（4）：976?981.
[8] 苏永钢，唐晨，程佳佳，等.基于Mean Shift的目标跟踪算法性能比较研究[J].激光与红外，2016，46（3）：372?376.
[9] 陈金广，任冰青，马丽丽，等.噪声方差未知条件下的视频目标跟踪[J].中国图象图形学报，2015，20（7）：906?913.
摘 要： 传统Mean Shift算法在运动目标运动速度过快以及被遮挡的情况下，算法的跟踪效果较差。因此，提出基于改进Mean Shift算法的网球运动视频目标跟踪方法，分析Mean Shift算法进行网球运动视频目标跟踪的过程以及存在的弊端。采用最小二乘法对Mean Shift算法进行改进，利用最小二乘法预测网球运动视频目标位置，在该位置上实施迭代跟踪，再用Mean Shift算法得到目标最终跟踪位置，解决目标运动速度过快以及遮挡问题的干扰，减小各帧检索时矢量同收敛点的距离，提高跟踪效率。实验结果说明，所提方法具有较高的跟踪效果和跟踪效率。
关键词： Mean Shift算法； 网球运动； 视频目标； 跟踪研究
中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）13?0073?04
Abstract： Since the tracking effect of the traditional Mean Shift algorithm is poor in the situations that the speed of the moving object is fast， and the moving object is blocked out， an improved Mean Shift algorithm based video object tracking method of tennis sports is proposed. The process and shortcomings of the Mean Shift algorithm to perform the video object tracking of the tennis sports are analyzed. The least square method is used to improve the Mean Shift algorithm， and predict the video object location of tennis sports. The iterative tracking is carried out for this position. The Mean Shift algorithm is adopted to get the final target tracking position， solve the problems of fast target movement speed and interference shielding， reduce the distance between the vector and convergence point when each frame is retrieved， and improve the tracking efficiency. The experimental results show that the method has high tracking performance and tracking efficiency.
Keywords： Mean Shift algorithm； tennis sports； video object； tracking research
0 引 言
随着计算机技术的快速发展，计算机视觉技术在人们的生产和生活中的应用价值也逐渐提升。视频目标跟踪是计算机视觉领域分析的热点，其广泛应用在各项体育运动训练和比赛过程中，对运动目标进行准确分类和跟踪，对提高网球运动的质量具有重要意义[1]。但是受到网球运动目标自身因素以及外部环境因素的干扰，使得网球运动视频目标跟踪算法的性能降低。特别是传统均值偏移跟踪算法（Mean Shift跟踪算法）在网球运动视频目标原始位置实施迭代的收敛过程中，在运动目标运动速度过快以及被遮挡的情况下，算法的跟踪效果较差[2]。因此，提出基于改进Mean Shift算法的网球运动视频目标跟踪算法，提高目标跟踪的效率和精度。
1 Mean Shift算法
Mean Shift跟踪算法是一种依据特征概率密度统计的建模方法，其跟踪运动目标时，在视频序列的首帧手动选择目标范围，塑造对应的目标颜色直方图。因为Mean Shift算法在目标原始位置实施迭代收敛，受到目标运动速度以及目标遮挡状态的干扰，导致目标跟踪精度降低。通过最小二乘法能够处理该种弊端，先通过最小二乘法预测网球运动视频目标位置[3]，在该位置实施迭代跟踪，再通过Mean Shift算法获取网球运动视频目标的最终跟踪位置。
1.1 Mean Shift算法
假设在维空间内的个样本点是则在点的Mean Shift向量为：
式中：表示高维球体，该球体的半径是基于式（1）可得，Mean Shift向量是描述进入球体范围内，个点相对于点的偏移向量之和的平均值。
如果概率密度函数是从该函数采样获取由于在梯度方向具有最高的提升速度，则范围内的样本点取平均值后，会处于的梯度方向，则指向概率密度梯度的方向。对Mean Shift算法实施扩展，融入核函数，随着样本点同偏移点距离的波动[4]，其偏移量对均值偏移向量的干扰也产生波动，并且还融入了权重系数，描述不同样本点的价值度。将式（1）扩展成下式：
式中：是单位核函数；是带宽矩阵，是正定对称的矩阵，设置为对角阵，是樣本点的权重系数。则将式（2）变换成：
1.2 Mean Shift算法的工作过程
将式（3）变换成：
对已知样本点核函数值是Mean Shift算法过程如下：
（1） 运算；
（2） 若终止循环，否则继续；
（3） 设置运行式（4）。
基于式（4）可得则Mean Shift算法的原理是该算法向量持续向概率密度梯度的方向变换[5]，最终收敛到周围的峰值。
1.3 Mean Shift的运动视频目标跟踪
通过半自动方法在网球运动视频序列内手动获取待跟踪的目标，采用颜色直方图对目标特征实施描述。在网球运动视频帧内，在运动目标范围中设置一个核函数，对运动目标的颜色直方图实施运算，获取一个空间平沿的相似性函数，该函数用于描述候选目标同目标模板间的相似性。如果相似性函数值为最高，则可从网球运动视频目标跟踪过程看出求解相似性函数最高值的过程。先在待分析的网球运动视频中选择要跟踪的目标，再对目标范围中的全部像素点、运算像素点特征范围中各特征值的概率塑造运动目标的模板[6]。后续的图像序列在可能包含目标的候选区域内运算特征空间的全部特征值，综合分析候选模型。将Epanechikov函数当成核函数，运算候选目标同目标模型间的相似性函数，对候选目标同目标模型间的相似性函数实施运算，求解相似性函数的最高值获取目标的Mean Shift向量，该向量是目标从原始位置向准确位置变换的向量，Mean Shift向量逐渐向真实网球运动视频目标位置方向变动，如果相似性函数的值最高，则获取目标位置，完成网球运动视频目标的准确跟踪。
Mean Shift进行目标跟踪的原理如下：
（1） 塑造网球运动视频目标模型。构建网球运动视频目标的颜色直方图，通过人机交互手段，手动选择网球运动视频目标范围。将HSV颜色特征当成目标的特征区域，则网球运动视频目标模型可用于描述HSV特征值的概率值[7]，若目标范围中心点是则网球运动视频目标模板的概率密度分布为：
（2） 塑造候选模型。塑造候选的颜色核直方图，如果候选目标范围中心是则候选模型的概率密度分布为：
（3） 相似性度量。将Bhattacharyya系数当成相似性函数，值越高，说明候选目标同目标模板间的相似度越高：
（4） 网球运动视频目标定位。Mean Shift向量在前一帧的网球运动视频目标中心位置点持续偏移到新位置[8]，检索最佳匹配点先在位置对式（7）进行泰勒展开，则有：
式（8）的最高值是相似性函数的最高值，可确保Mean Shift理论持续获取新的直至得到目标的最终位置。
则依据颜色直方图的Mean Shift网球运动视频目标跟踪算法的过程如下：
（1） 初始化，将前帧网球运动视频目标的最终位置当成即刻帧目标的原始位置，运算分析：
（2） 通过式（8）运算权重值；
（3） 依据Mean Shift矢量运算目标的位置：
（4） 运算和相似性函数：
（5）如果则运行
（6） 如果则停止；否则设置运行步骤（1）。
Mean Shift算法通过颜色直方图建模，在网球运动视频目标存在形变和背景波动的状态中，具有较高的稳定性。如果运动目标存在遮挡，该算法的跟踪效果不够理想，并且该种算法在目标原始点位置实施目标迭代检索过程中[9]，若运动目标运动效率较高，跟踪目标存在较高的偏差。
2 改进Mean Shift算法的网球运动视频目标跟踪
Mean Shift算法从网球运动员原始位置对目标实施迭代搜索，如果网球运动员运动速率较快，相邻区域不存在目标混合区域情况下，Mean Shift算法的跟踪效果大大降低，容易形成跟踪失败的问题。因此，采用最小二乘预测算法改进Mean Shift算法，也就是Least Square算法，在检索后续目标过程中，先通过最小二乘法预测目标位置，再采用Mean Shift算法在预测位置实施迭代跟踪。通过颜色直方图描述网球运动视频中运动目标的特征，设置运动目标的中心位置坐标是若分别是时间的三次方程，则有：
将Mean Shift算法前帧的跟踪结果的中心位置当成最小二乘曲线拟合的样本点，则有，分别采用式（1）和式（2）对方向实施曲线拟合，获取拟合方差。将融入两个方程内，获取当前帧的预测结果。将该结果当成Mean Shift算法的原始检索位置开始迭代，再通过Mean Shift算法得到网络运动视频目标的最终跟踪位置，缩小各帧搜索时矢量离收敛点的距离，极大地提高了算法的跟踪效率。改进算法的流程如图1所示。
3 实验结果与分析
通过实验检测改进Mean Shift算法的网球运动视频目标跟踪方法的性能。实验环境是PC機，双核CPU的主频是1.5 GHz，采用Visual Studio 2005以及Open CV 1.0的平台进行检测。设置本文方法中最小二乘曲线拟合的样本点数是6。第一组实验视频是某比赛中网球训练视频中的运动员，因为运动员的运动速度较快，相邻视频目标帧间的目标混合范围较少，相邻两帧具有较高的位移。本文方法和传统方法的跟踪结果分别如图2和图3所示。对比分析两图可以看出：本文方法比传统方法的鲁棒性更高，特别是在第28帧以及142帧运动员被微遮挡状态下，传统方法存在跟踪滞后问题，而本文方法能够解决遮挡引起的跟踪失败，跟踪结果更为准确。
第二组实验视频内，网球运动员的运动轨迹是动态的，目标运动速率较快，相邻两帧目标的重叠区域较低，从图4中能够看出，目标在转弯过程中，传统方法无法对目标进行跟踪。
在图4和图5两组视频内，目标是通过手动进行选择的，统计二组视频内平均迭代次数和处理时间，结果如表1所示。能够看出本文方法的迭代次数和处理时间都显著优于传统方法，具有较高的网球运动视频目标跟踪效率。
4 结 论
本文研究了基于改进Mean Shift算法的网球运动视频目标跟踪方法，其采用最小二乘法预测目标位置，在该位置上实施迭代跟踪，采用Mean Shift算法得到目标的最终跟踪位置，解决了传统方法在目标原始位置实施迭代收敛过程中，运动目标运动速度过快以及被遮挡情况下，跟踪效果差的弊端。
参考文献
[1] 卢旭，刘军，袁飞.基于移动Sink的自组织视频传感网络目标跟踪算法[J].传感技术学报，2016，29（9）：1430?1434.
[2] 于晓涵，孙艳丽，柳超.改进的特征匹配雷达视频运动目标跟踪算法[J].海军航空工程学院学报，2016，31（1）：27?33.
[3] 陈定坤，杨艳.一种改进的Mean?shift运动目标跟踪算法[J].半导体光电，2015，36（1）：160?164.
[4] 聂振钢，孙协昌，梁银川.基于多特征Mean?Shift的灵巧弹药末制导跟踪算法[J].微电子学与计算机，2016，33（5）：89?91.
[5] 肖庆国，叶庆卫，周宇，等.基于Mean?Shift优化的TLD视频长时间跟踪算法[J].计算机应用研究，2015，32（3）：925?928.
[6] 杨夏.基于嵌入式Linux的运动目标跟踪视频监控系统[J].西南师范大学学报（自然科学版），2016，41（11）：148?154.
[7] 杨德红，闫河，刘婕，等.HLBP纹理特征Mean Shift目标跟踪算法[J].计算机工程与设计，2016，37（4）：976?981.
[8] 苏永钢，唐晨，程佳佳，等.基于Mean Shift的目标跟踪算法性能比较研究[J].激光与红外，2016，46（3）：372?376.
[9] 陈金广，任冰青，马丽丽，等.噪声方差未知条件下的视频目标跟踪[J].中国图象图形学报，2015，20（7）：906?913.
