基于图像处理的交通灯检测技术
吴国庆+王星星+张旭东+翟春树
摘 要： 针对城市交通安全和路口通行效率等问题，研究一种交通信号灯检测的技术。采用亮度分析、图像分割和形态学滤波对采集的图像进行预处理，排除背景干扰；利用RGB 颜色空间下的颜色各通道差值分布检测交通灯颜色；最后基于对图像[0°，180°]的Radon变换找出峰值对应的角度，对图像在该角度上分别进行变换，利用形状特征对交通灯进行形状检测。采集自然环境下图像进行试验。结果表明，该算法的正确识别率达到90%以上，是一种较好的交通信号灯检测方法。
关键词： 图像处理； 交通灯检测； RGB； Radon变换
中图分类号： TN911?34.73； TP39 文献标识码： A 文章编号： 1004?373X（2017）08?0103?04
Traffic lights detection technology based on image processing
WU Guoqing1，2， WANG Xingxing1， ZHANG Xudong2， ZHAI Chunshu1
（1. School of Mechanical Engineering， Nantong University， Nantong 226019， China；
2. Jiangsu Engineering Research Center for Wind Energy Application， Nantong 226019， China）
Abstract： A traffic lights detection technology is studied to solve the problems of urban traffic safety and crossroad traffic efficiency. The brightness analysis， image segmentation and morphological filtering are used to preprocess the acquired image to eliminate the background interference. The three?channel difference distribution of the three traffic lights colors in RGB color space is adopted to detect the color of traffic lights. On the basis of the Radon transform for the image in 0°～180°， the angle corresponding to the peak value is found out， on which the image is transformed. The shape feature is employed to detect the shape of the traffic lights. The image acquired in the natural environmental was tested. The results show that the correct recognition rate of the algorithm is higher than 90%， which is a good method for traffic light detection.
Keywords： image processing； traffic lights detection； RGB； Radon transform
随着道路交通迅速发展，交通事故急剧增加。因此，智能交通系统成为了未来发展的重要领域。智能交通系统是一种将信息技术、通信技术、传感技术、控制技术以及计算机技术等有效地集成融合于整个交通运输管理体系， 而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合的运输和管理系统[1]。基于智能交通系统的快速发展需求，很多研究学者开始致力于研究各种基于图像的目标检测系统，例如建筑物检测， 树木检测，以及大量的基于图像的交通灯检测系统[2]。对交通信号灯的识别是智能交通机器视觉的的一个重要部分，可以及时为驾驶员提供当前路口状态，提示道路可行性，避免交通事故发生；对于无人驾驶系统，交通灯检测识别则是确保安全性的关键技术之一。
现有的交通灯识别算法主要利用颜色和形状信息。Jin?Hymig Park等利用颜色信息，提取可能是交通信号灯的像素，利用K均值聚类方法进行聚类；再用简单的圆检测算法，检测圆形交通信号灯，但在复杂环境下，漏检、误检率较高[3]。H wang等用6个颜色阈值来分割输入图像，得到候选区域。然而，它无法区分红色和黄色交通信号灯，适应性不强[4]。徐成等在Lab颜色空间分割交通信号灯的候选区域，用模板匹配算法识别交通信号灯，识别的准确率较高，但面对不同安装与种类的交通灯，通用性不足[5]。
1 交通灯预处理
在城市环境中，交通信号灯的背景比较复杂，存在很多干扰，如前方汽车尾灯、道路两边的建筑颜色、树木等，而且在各种不同的环境中，光照等因素对交通信号灯的颜色变化的影响比較大。因此，需要对图像进行预处理，部分排除背景干扰。
1.1 图像灰度阈值分割
交通灯所处的背景较为复杂，干扰因素较多。为了满足系统实时性要求，必须快速、准确地检测定位交通灯在图像中的位置并进行识别。本文利用交通灯自行发光的特点，亮度特征比图像背景较为明显，分析图像的亮度属性，对图像进行阈值分割，消除图像背景的影响。实时从图像中提取亮度值，既能一定程度消除光照的影响，更能确保该算法的鲁棒性。原图像见图1。
为了进一步缩短处理时间，减小运算量，确定有意义的区域，利用灰度阈值分割法对图像进行二值化处理。结合图2亮度分析，对灰度图像进行二值化处理，排除如树木、房屋等图像背景。故可以确定分割阈值T=。
1.2 图像形态学操作
二值化处理图像后，交通灯区域较为明显地被分割出来，但同时仍然有许多灰度值较大的背景杂质也被检测出来。为了消除汽车尾灯、窗灯等细小物体以及背景区域散布的噪声物体的干扰，平滑二值图像的边界，对图像进行形态学处理（开运算），即将图像先进行腐蚀后再膨胀处理。腐蚀操作会去掉物体的边缘点，细小物体会被认为是边缘点，会整个被删除；再进行膨胀操作时，留下的较大物体会恢复原来大小，小物体则被删除了。处理结果如图3所示。
2 交通灯检测
2.1 颜色检测
（1） 歸一化。由于自然环境下，外界对颜色的影响较为直接，如亮度的变化直接可能导致颜色的失色。因此需要不考虑亮度等的影响只提取颜色信息，必须将RGB各通道进行标准化处理。在归一化RGB模型中r，g，b表示标准化三通道，r+g+b=1，分别为：
（1）
（2） 色彩分割。在RGB颜色空间下对颜色进行分割，由于受到光照影响，三通道值的相关性较大，不能进行单一通道值取值分析。因此，本文利用在RGB颜色空间下，三种交通灯颜色的三通道差值分布的稳定性进行颜色分割，这样不仅解决了RGB颜色空间的缺点，而且避免了颜色空间的转换，减少了处理时间，一定程度上提高了实时性。在进行颜色分割前，分割阈值范围的确定尤为重要， 不同的分割阈值会导致分割效果的不同。本文通过分析三种交通灯在RGB模型下的三通道分布情况，多次试验总结得出一组分割阈值范围为：红灯区域20<r-g<150&20<r-b<120，绿灯区域20<g-r<150&10<g-b<50，黄灯区域20<r-g<80&0<g-b<90。见图4、图5。
[ 图3 形态学操作后图像 图4 r?g分布]
为了验证三通道差值分割提取候选区域效果，选取其中任意的一幅图像作为实验对象。实验结果如图6所示，差值分割能够有效地提取出图像中的红色部分，抑制其他颜色干扰，但也部分地提取了背景中颜色接近的区域，并且由于交通灯发光性会使得交通灯区域中心亮度过大导致中心颜色淹没现象，只能检测出边缘颜色区域。因此，需要结合区域的形状信息进行进一步检测。
2.2 Radon变换形状检测
Radon变换是从不同的角度对图像进行该角度上的投影，每个向量的投影值为该方向上图像所有像素点的线积分和，计算公式为：
对于同一目标图像进行Radon变换在不同的角度下投影波形是不同的，若将多个角度下的投影波形作为特征全部进行对比分析，则会因为处理大量冗余数据降低处理效率，无法满足实时性要求。因此，必须选取其中部分投影波形作为特征进行分析。
对交通灯图像在θ为[0°，180°]范围内进行Radon变换，结果如图8、图9所示。
对比图8、图9，可以看出圆形交通灯一直维持在恒定的数据，对于箭头形交通灯，向左和向右呈现了明显的对称性，再次只考虑一种方向。除了在两个坐标轴投影，就是分别在45°和135°出现了峰值，因此本文选取四个方向的投影波形作为交通灯的特征，分别是0°，45°，90°和135°投影，结果如图10和图11所示。将通过颜色检测得到的目标区域进行这四个角度上的Radon变换得到投影特性，若区域的投影特性符合圆形或者箭头形特性，则认为该区域为交通灯区域。
3 实 验
为了检测算法的有效性与实用性，搜集了部分数据进行检测。共采集了不同时间，不同地区的交通灯图像80幅作为本试验样本。实验选择软件为Matlab R2009a平台，硬件为PC（配置：IntelCore（TM）i3 CPU M350@2.27 GHz 内存2 GB 32位WIN 7操作系统）。
本文算法检测了80幅图像，为了验证该算法是否满足实时性要求，对每一幅图像都记录了检测识别消耗的时间，然后取平均值代表该算法的实时性。统计结果见表1。
表1 算法准确率、实时性统计
实验表明，该交通信号灯检测识别方法，能够较为有效地检测到交通灯的位置并且正确检测率能达到90%。对于红、黄、绿交通灯平均识别时间分别为4.25 s，3.91 s，5.32 s，实时性较其他算法较差。因此，需进一步优化算法，加快图像处理速度，体现系统实时性效果。
4 总 结
本文首先对图像进行预处理排除如树木等背景的干扰。再对图像进行归一化后在RGB颜色空间下，利用直方图统计出三种交通灯的三通道差值分布情况，确定颜色分割的阈值范围；最后对检测的目标区域进行Radon变换进行形状特性检测。最终结合颜色和形状信息确定检测出的交通灯区域，得出交通灯的当前状态。实验表明，本文提出的方法，能有效地检测识别交通信号灯，且识别率较好。这充分说明了本方法能有效、快速地识别城市复杂环境下的交通信号灯。
未来进一步的研究方向是对从不同的角度、时间、空间等多种条件下的图像进行处理；而且目前对于箭头形和数字形交通信号灯还没有较好的算法研究，所以需进一步针对箭头和数字的交通灯研究有效处理算法；另外需要进一步的优化算法，减少处理时间，提高检测的准确性。
参考文献
[1] 朱永珍，孟庆虎，普杰信.基于HSV色彩空间与形状特征的交通灯自动识别[J].电视技术，2015，39（5）：150?154.
[2] 牛红惠，刘凌霞.基于归一化RGB空间与曲率的交通灯检测研究[J].科学技术与工程，2013，13（6）：1703?1707.
[3] 徐成，谭乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通灯识别算法[J].计算机应用，2010，30（5）：1251?1254.
[4] 尹涛.自然场景下交通标志牌的检测与识别[D].南京：南京理工大学，2010.
[5] PARK J H， JEONG C. Real?time signal light detection [C]// Proceedings of 2008 Second International Conference on Future Generation Communication and Networking. Hainan， China： IEEE， 2008： 139?142.
[6] OMACHI M， OMACHI S. Traffic light detection with color and edge information [C]// Proceedings of 2009 2nd IEEE International Conference on Computer Science and Information Technology. Beijing， China： IEEE， 2009： 284?287.
[7] WANG W. Reach on Sobel operator for vehicle recognition [C]// Proceedings of 2009 1st IITA International Joint Conference on Artificial Intelligence. Hainan， China： IEEE， 2009： 448?451.
[8] LU K H， WANG C M， CHEN S Y. Traffic light recognition [J]. Journal of the Chinese Institute of Engineers， 2008， 31（6）： 1069?1075.
[9] 谭乃强.视频交通灯识别和阴影消除方法及应用研究[D].长沙：湖南大学，2010.
</r-g<150&20<r-b<120，绿灯区域20<g-r<150&10<g-b<50，黄灯区域20<r-g<80&0<g-b
摘 要： 针对城市交通安全和路口通行效率等问题，研究一种交通信号灯检测的技术。采用亮度分析、图像分割和形态学滤波对采集的图像进行预处理，排除背景干扰；利用RGB 颜色空间下的颜色各通道差值分布检测交通灯颜色；最后基于对图像[0°，180°]的Radon变换找出峰值对应的角度，对图像在该角度上分别进行变换，利用形状特征对交通灯进行形状检测。采集自然环境下图像进行试验。结果表明，该算法的正确识别率达到90%以上，是一种较好的交通信号灯检测方法。
关键词： 图像处理； 交通灯检测； RGB； Radon变换
中图分类号： TN911?34.73； TP39 文献标识码： A 文章编号： 1004?373X（2017）08?0103?04
Traffic lights detection technology based on image processing
WU Guoqing1，2， WANG Xingxing1， ZHANG Xudong2， ZHAI Chunshu1
（1. School of Mechanical Engineering， Nantong University， Nantong 226019， China；
2. Jiangsu Engineering Research Center for Wind Energy Application， Nantong 226019， China）
Abstract： A traffic lights detection technology is studied to solve the problems of urban traffic safety and crossroad traffic efficiency. The brightness analysis， image segmentation and morphological filtering are used to preprocess the acquired image to eliminate the background interference. The three?channel difference distribution of the three traffic lights colors in RGB color space is adopted to detect the color of traffic lights. On the basis of the Radon transform for the image in 0°～180°， the angle corresponding to the peak value is found out， on which the image is transformed. The shape feature is employed to detect the shape of the traffic lights. The image acquired in the natural environmental was tested. The results show that the correct recognition rate of the algorithm is higher than 90%， which is a good method for traffic light detection.
Keywords： image processing； traffic lights detection； RGB； Radon transform
随着道路交通迅速发展，交通事故急剧增加。因此，智能交通系统成为了未来发展的重要领域。智能交通系统是一种将信息技术、通信技术、传感技术、控制技术以及计算机技术等有效地集成融合于整个交通运输管理体系， 而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合的运输和管理系统[1]。基于智能交通系统的快速发展需求，很多研究学者开始致力于研究各种基于图像的目标检测系统，例如建筑物检测， 树木检测，以及大量的基于图像的交通灯检测系统[2]。对交通信号灯的识别是智能交通机器视觉的的一个重要部分，可以及时为驾驶员提供当前路口状态，提示道路可行性，避免交通事故发生；对于无人驾驶系统，交通灯检测识别则是确保安全性的关键技术之一。
现有的交通灯识别算法主要利用颜色和形状信息。Jin?Hymig Park等利用颜色信息，提取可能是交通信号灯的像素，利用K均值聚类方法进行聚类；再用简单的圆检测算法，检测圆形交通信号灯，但在复杂环境下，漏检、误检率较高[3]。H wang等用6个颜色阈值来分割输入图像，得到候选区域。然而，它无法区分红色和黄色交通信号灯，适应性不强[4]。徐成等在Lab颜色空间分割交通信号灯的候选区域，用模板匹配算法识别交通信号灯，识别的准确率较高，但面对不同安装与种类的交通灯，通用性不足[5]。
1 交通灯预处理
在城市环境中，交通信号灯的背景比较复杂，存在很多干扰，如前方汽车尾灯、道路两边的建筑颜色、树木等，而且在各种不同的环境中，光照等因素对交通信号灯的颜色变化的影响比較大。因此，需要对图像进行预处理，部分排除背景干扰。
1.1 图像灰度阈值分割
交通灯所处的背景较为复杂，干扰因素较多。为了满足系统实时性要求，必须快速、准确地检测定位交通灯在图像中的位置并进行识别。本文利用交通灯自行发光的特点，亮度特征比图像背景较为明显，分析图像的亮度属性，对图像进行阈值分割，消除图像背景的影响。实时从图像中提取亮度值，既能一定程度消除光照的影响，更能确保该算法的鲁棒性。原图像见图1。
为了进一步缩短处理时间，减小运算量，确定有意义的区域，利用灰度阈值分割法对图像进行二值化处理。结合图2亮度分析，对灰度图像进行二值化处理，排除如树木、房屋等图像背景。故可以确定分割阈值T=。
1.2 图像形态学操作
二值化处理图像后，交通灯区域较为明显地被分割出来，但同时仍然有许多灰度值较大的背景杂质也被检测出来。为了消除汽车尾灯、窗灯等细小物体以及背景区域散布的噪声物体的干扰，平滑二值图像的边界，对图像进行形态学处理（开运算），即将图像先进行腐蚀后再膨胀处理。腐蚀操作会去掉物体的边缘点，细小物体会被认为是边缘点，会整个被删除；再进行膨胀操作时，留下的较大物体会恢复原来大小，小物体则被删除了。处理结果如图3所示。
2 交通灯检测
2.1 颜色检测
（1） 歸一化。由于自然环境下，外界对颜色的影响较为直接，如亮度的变化直接可能导致颜色的失色。因此需要不考虑亮度等的影响只提取颜色信息，必须将RGB各通道进行标准化处理。在归一化RGB模型中r，g，b表示标准化三通道，r+g+b=1，分别为：
（1）
（2） 色彩分割。在RGB颜色空间下对颜色进行分割，由于受到光照影响，三通道值的相关性较大，不能进行单一通道值取值分析。因此，本文利用在RGB颜色空间下，三种交通灯颜色的三通道差值分布的稳定性进行颜色分割，这样不仅解决了RGB颜色空间的缺点，而且避免了颜色空间的转换，减少了处理时间，一定程度上提高了实时性。在进行颜色分割前，分割阈值范围的确定尤为重要， 不同的分割阈值会导致分割效果的不同。本文通过分析三种交通灯在RGB模型下的三通道分布情况，多次试验总结得出一组分割阈值范围为：红灯区域20<r-g<150&20<r-b<120，绿灯区域20<g-r<150&10<g-b<50，黄灯区域20<r-g<80&0<g-b<90。见图4、图5。
[ 图3 形态学操作后图像 图4 r?g分布]
为了验证三通道差值分割提取候选区域效果，选取其中任意的一幅图像作为实验对象。实验结果如图6所示，差值分割能够有效地提取出图像中的红色部分，抑制其他颜色干扰，但也部分地提取了背景中颜色接近的区域，并且由于交通灯发光性会使得交通灯区域中心亮度过大导致中心颜色淹没现象，只能检测出边缘颜色区域。因此，需要结合区域的形状信息进行进一步检测。
2.2 Radon变换形状检测
Radon变换是从不同的角度对图像进行该角度上的投影，每个向量的投影值为该方向上图像所有像素点的线积分和，计算公式为：
对于同一目标图像进行Radon变换在不同的角度下投影波形是不同的，若将多个角度下的投影波形作为特征全部进行对比分析，则会因为处理大量冗余数据降低处理效率，无法满足实时性要求。因此，必须选取其中部分投影波形作为特征进行分析。
对交通灯图像在θ为[0°，180°]范围内进行Radon变换，结果如图8、图9所示。
对比图8、图9，可以看出圆形交通灯一直维持在恒定的数据，对于箭头形交通灯，向左和向右呈现了明显的对称性，再次只考虑一种方向。除了在两个坐标轴投影，就是分别在45°和135°出现了峰值，因此本文选取四个方向的投影波形作为交通灯的特征，分别是0°，45°，90°和135°投影，结果如图10和图11所示。将通过颜色检测得到的目标区域进行这四个角度上的Radon变换得到投影特性，若区域的投影特性符合圆形或者箭头形特性，则认为该区域为交通灯区域。
3 实 验
为了检测算法的有效性与实用性，搜集了部分数据进行检测。共采集了不同时间，不同地区的交通灯图像80幅作为本试验样本。实验选择软件为Matlab R2009a平台，硬件为PC（配置：IntelCore（TM）i3 CPU M350@2.27 GHz 内存2 GB 32位WIN 7操作系统）。
本文算法检测了80幅图像，为了验证该算法是否满足实时性要求，对每一幅图像都记录了检测识别消耗的时间，然后取平均值代表该算法的实时性。统计结果见表1。
表1 算法准确率、实时性统计
实验表明，该交通信号灯检测识别方法，能够较为有效地检测到交通灯的位置并且正确检测率能达到90%。对于红、黄、绿交通灯平均识别时间分别为4.25 s，3.91 s，5.32 s，实时性较其他算法较差。因此，需进一步优化算法，加快图像处理速度，体现系统实时性效果。
4 总 结
本文首先对图像进行预处理排除如树木等背景的干扰。再对图像进行归一化后在RGB颜色空间下，利用直方图统计出三种交通灯的三通道差值分布情况，确定颜色分割的阈值范围；最后对检测的目标区域进行Radon变换进行形状特性检测。最终结合颜色和形状信息确定检测出的交通灯区域，得出交通灯的当前状态。实验表明，本文提出的方法，能有效地检测识别交通信号灯，且识别率较好。这充分说明了本方法能有效、快速地识别城市复杂环境下的交通信号灯。
未来进一步的研究方向是对从不同的角度、时间、空间等多种条件下的图像进行处理；而且目前对于箭头形和数字形交通信号灯还没有较好的算法研究，所以需进一步针对箭头和数字的交通灯研究有效处理算法；另外需要进一步的优化算法，减少处理时间，提高检测的准确性。
参考文献
[1] 朱永珍，孟庆虎，普杰信.基于HSV色彩空间与形状特征的交通灯自动识别[J].电视技术，2015，39（5）：150?154.
[2] 牛红惠，刘凌霞.基于归一化RGB空间与曲率的交通灯检测研究[J].科学技术与工程，2013，13（6）：1703?1707.
[3] 徐成，谭乃强，刘彦.基于Lab色彩空间和模板匹配的实时交通灯识别算法[J].计算机应用，2010，30（5）：1251?1254.
[4] 尹涛.自然场景下交通标志牌的检测与识别[D].南京：南京理工大学，2010.
[5] PARK J H， JEONG C. Real?time signal light detection [C]// Proceedings of 2008 Second International Conference on Future Generation Communication and Networking. Hainan， China： IEEE， 2008： 139?142.
[6] OMACHI M， OMACHI S. Traffic light detection with color and edge information [C]// Proceedings of 2009 2nd IEEE International Conference on Computer Science and Information Technology. Beijing， China： IEEE， 2009： 284?287.
[7] WANG W. Reach on Sobel operator for vehicle recognition [C]// Proceedings of 2009 1st IITA International Joint Conference on Artificial Intelligence. Hainan， China： IEEE， 2009： 448?451.
[8] LU K H， WANG C M， CHEN S Y. Traffic light recognition [J]. Journal of the Chinese Institute of Engineers， 2008， 31（6）： 1069?1075.
[9] 谭乃强.视频交通灯识别和阴影消除方法及应用研究[D].长沙：湖南大学，2010.
</r-g<150&20<r-b<120，绿灯区域20<g-r<150&10<g-b<50，黄灯区域20<r-g<80&0<g-b
