复杂环境下道路车道线识别算法的研究

曹月花+罗文广+蓝红莉+赵晓东



摘 要: 针对不同光照、雨雪天、大雾天等恶劣环境下道路车道线识别难的问题,研究其识别算法。弱光照下,通过面积算子选取合适阈值进而实现边缘增强;夜间光照更弱的情况下,通过改进SUSAN算子实现夜间昏暗道路的边缘增强,解决了道路信息模糊、周围因素影响等造成的噪声干扰;强光照下,通过强光滤波算法可以消除伪边缘干扰,实现车道线的准确识别。雨雪天下,道路积水造成路面复杂,不能准确找到车道线特征点,通过建立路面积水反射模型,去除光的反射影响,增强路面和车道信息对比度,实现车道线信息的准确提取。大雾天,道路信息模糊不清,通过逆透视原理、差值分离建立道路识别模型,对道路特征进行加强分析,增强车道信息,提高识别效果。实验验证了所提出和改进的复杂环境下道路车道线识别算法的有效性,并且具有较强的鲁棒性和抗扰能力,可应用到智能交通系统中。
关键词: 车道线; 车道线信息提取; 逆透视变换; 边缘增强
中图分类号: TN912.34?34; TP391.41 文献标识码: A 文章编号: 1004?373X(2017)14?0109?05
Abstract: It is difficult to recognize the lane line on road in the severe environments such as different illumination, rain day, snow day, fog day, etc, therefore a lane line identification algorithm is studied. Under the condition of weak illumination, the appropriate threshold is selected by means of area operator to realize the edge enhancement. Under the condition of weaker illumination at night, the SUSAN operator is improved to realize the edge enhancement of the dark road at night, and eliminate the noise interference caused by fuzzy road information and surrounding factors. Under the condition of strong light, the high light filtering algorithm can remove the pseudo edge interference, and realize the accurate recognition of the lane line. Under the conditions of snow or rain day, since the feature point of the lane line can′t be identified accurately because of the complex road conditions caused by road water?logging, the reflection model of road water?logging was established to eliminate the influence of light reflection, enhance the contrast of roads and lanes information, and extract the lane line information accurately. Under the condition of fog day, because the road information is blur, the road recognition model based on inverse perspective principle and difference separation was established to perform the enhancement analysis for road feature, enhance the lane information, and improve the recognition effect. The experimental results verify that the road lane line recognition algorithm is effective in complex environment, has strong robustness and anti?interference ability, and can be applied to the intelligent transportation system.
Keywords: lane line; lane line information extraction; inverse perspective transformation; edge enhancement
0 引 言
21世纪是一个科技和信息技术飞速发展的时代,直接带动交通运输业的发展。科技进步直接或间接地使劳动过程发生变化,促进交通行业经济增长,但是交通安全隐患也越来严重[1]。道路车道线识别是汽车安全辅助系统中最基本和核心的功能,能为导航提供精确的参照,在划分道路区域、安全驾驶和碰撞预警等方面起到了重要的作用。车道线识别不仅要考虑准确性、鲁棒性和实时性,而且要能够满足系统的需求。准确性是指汽车行驶车道线与检测到的实时车道线匹配[2];实时性就是图像视频处理速度要和车辆图像的数据处理速度同步;鲁棒性就是针对不同的道路路况不同气候条件下日照强度、阴雨天路面车道线的颜色、纹理、障碍物等具有一定的识别能力。若以上车道线识别算法的三個特性得以实现,则可以提高车辆行驶时识别道路车道线的准确率及提高车辆运行速度,增大交通流量,减少交通安全隐患。实际应用中,很多环境道路因素是不确定的,道路图像信息处理很容易受到天气状况的影响,因此复杂环境下车道线识别问题是重点研究方向。
1 复杂环境下车道线识别算法
1.1 算法流程
道路车道线的识别会受到不同光照和不同气候等条件的影响,光照过强或过弱、夜间、雾天、雨雪天等都会增加车道线识别的难度[3]。强光照射到路面的情形会增大图像的平均灰度值,光强度的不均匀使得路面反射造成虚假边缘。相反,光强度比较弱的时候,会降低图像平均灰度值,寻找的信息不准确等。雨、雪天对车辆行驶安全也有一定的影响,积雪、雨水覆盖路面会产生比较亮的区域,亮区域会出现反光,严重影响车道线识别判断。雨天雨点会影响图像采集,路面会有径流产生等,道路局部反光现象使得车道很难区分,很大程度上增加了车道线的识别难度[4]。大雾天气下道路视觉模糊不清,道路信息覆盖细节不清楚,路面信息和车道线分辨度降低,影响车道线识别。针对复杂环境下车道线识别,提出了图1所示的算法整体流程。首先图像采集并灰度化处理,然后进行分类处理。强光下通过强光滤波减少虚假边缘,再用索贝尔算子边缘检测有效的平滑噪声并细化边缘,能够达到道路图像的分割、配准和识别的效果;弱光、黑夜光照很弱的情况下,面积算子能增强背景与车道线对比度,找到有效特征点;雨雪天,建立路面反射模型消除镜面反射的虚假特征点;大雾天通过逆透视、变换差值分离实现道路信息与背景干扰信息的分离[5]。最后,对分类后的情况进行SUNSAN算子边缘增强,保留有效特征点,通过改进霍夫变换,拟合出车道线,实现复杂环境下车道线的识别。
1.2 核心算子
(1) 面积算子。通过面积形态学运算对不同光照下的图像进行二值化,可以去除连通区域、有效抑制噪声干扰、正确提取特征点,进而提高识别准确性和快速性[6]。定义连通区域如下:
式中:表示横坐标p、纵坐标q的像素点;I表示像素点扫面长度。用S(·)表示像素,设亮、暗区域的像素分别为 1,0,像素S(·)=1 的像素点为,通过四连通或八连通找到像素点的p和q 的连接路径如, 由可以得到连接区域的有效面积,最小面积阈值为a。面积阈值的合理取值是面积形态学运算的首要问题,阈值太大会导致车道线漏检不连续,阈值太小则不能去除噪声。面积阈值选取要保证车道线特征完整保留而且没有噪声干扰,可以减少图像处理计算量,提高精度识别要求。
(2) SUSAN 算子邊缘分割。夜间图像信息干扰很大,不仅光照很弱而且车灯以及喇叭等噪声硬性过大,对车道线识别影响加大。单纯的应用面积算子不能解决夜间行车问题,因此提出运用SUSAN 算子边缘分割。如设定SUSAN 算子的一个圆形模板的像素点个数为n且半径是r,黑色背景代表模板中心像素,通过以下公式计算 USAN 区的像素个数:
(3) 路面积水镜面反射模型。假设平面是两层的路面,第一层包含着沥青水泥等的有色层,颜色由本身以及反射光强度决定,属于漫反射类型;第二层属于积水层,颜色与入射光颜色一致,属于模糊化的镜面反射[7]。基于经验的反射模型就是把反射描述为环境光、漫反射、镜面反射等部分的线性组合。第一部分是由物体表面的颜色决定,第二部分由本身的材质和入射光强度决定。这两部分的反射光的强度不受反射角影响,在入射角固定的情况下,任何一个角度观察的两个部分反射光强度都是固定的。第三部的镜面反射会造成高光区域,本身颜色与光源一致,且与入射角和反射角的变化有关,模型如下:
2 算法实现及实验分析
2.1 不同光照下实验及分析
在正常光照下车道线图像平均灰度值比较均匀,可以直接对图像进分割匹配,直接进行目标图像识别。但在强光、弱光、夜间不同情景下,如图2所示,具有不同的光照度,车道线的识别要困难得多,需要分类处理,算法具体步骤如下:
(1) 图像信息采集,对不同光照的图像信息进行分类,区分开强弱光照并进行图像灰度化。
(2) 强光照采用强光滤波;弱光照、夜间可采用面积算子,增强对比度。根据不同的光照度选取合适的阈值,实现二值化。
(3) 通过SUSAN算子进行边缘增强,准确找到特征点,实现特征点提取。
(4) 采用改进霍夫变换,拟合出车道线。
实验结果如图3、图4所示。与图2对应,图3为不同光照下二值化结果。在强光下路面会有遮挡部分和阳光直射刺眼的部分,即存在强光和弱光两种情况,如图2(a)所示,因此需要对图像区域进行分割处理,以消除阴影干扰和强光道路曝光反射的影响。图3(a)为强光照下二值化结果,可见车道线特征点清晰。弱光照下,可以通过面积算子直接进行图像二值化,通过边缘增强提高其识别的准确性,边缘检测既可以保留车道信息又能减少信息计算量。结果如图3(b)所示,可见能够顺利提取弱光下的目标特征点以及去除噪声。夜间车道线识别可以用面积算子去噪后再进行边缘增强,这样就不会覆盖车道线信息。由于夜间光照度很弱,再加上月光、路灯和车灯的干扰,使本来就模糊不清的道路信息增加一定的噪声干扰。二值化结果如图3(c)所示,由于路面很多噪声干扰,简单处理后路面有大片白光,直接影响车道信息的获取,因此需要对二值化结果进一步处理。处理情况如图4所示。其中,图4(a)为有效区域强光滤波结果,通过选择有效区域,有效地滤除月光、路灯和车灯等的影响,只处理车道线周围区域,减少算法的计算量。显而易见,地面的白光降低,车道信息增强了。图4(b)显示边缘特征点的提取,通过边缘特征点确定车道线的具体位置。在特征点提取的基础上,采用改进SUSAN算子实现车道线边缘检测和边缘分割,如图4(c)所示,显然,与图3(c)的结果比较,路面区域清晰很多,能清楚获得车道线的具体位置,有效抑制噪声干扰。
图5、图6分别为强光和夜间两种情景下通过改进霍夫变换拟合出的车道线结果(拟合的车道线用蓝线标识)。这些结果证明前述识别算法的可行性,能够准确、快速地识别车道线。
2.2 雨天、雾天情景下实验与分析
日常生活中雨雪天气、大雾天是很常见的,对车辆行驶安全有一定的影响。如图7(a)所示,雨水覆盖路面會产生比较亮的区域,亮区域会出现反光,另外雨天雨点会影响图像采集且路面会有径流产生等,道路局部反光现象很大程度上增加了车道线的识别难度(雪天也出现同样影响)。
大雾天气下道路视觉模糊不清,道路信息覆盖细节不清楚,路面信息与车道线分辨度降低。不同天气下同样需要分类处理,算法具体步骤如下:
(1) 图像信息采集。对雨雪、雾天的图像信息进行分类并进行图像灰度化。
(2) 雨雪天气情况,结合摄像头模型来拟合实际路面积水的镜面放射模型,降低路面积水的镜面反射,提高图像处理的稳定性和准确性。大雾天气情况,通过直方图修正道路图像灰度间距,增大道路和车道信息反差,通过逆透视变换对原始图像进行车道信息分离。
(3) 用SUSAN算子进行边缘增强,准确找到特征点。
(4) 采用改进霍夫变换,拟合出车道线。
实验结果如图8~图10所示。
图8(a)为雨天情况下简单的二值化处理结果,显然由于道路上有很多雨水,且前方雨珠遮挡视线,很难看到远处的信息,只能处理附近的车道线,难以获得车道线特征点,路面和车道线的对比度没有区分,无法识别车道线,因此需要进一步处理。图8(b)为雾天情况下简单的二值化处理结果,由于雾天视线模糊,很难分辨出前方信息,车道线和路面整体对比度都很低,由图8(b)看出路面信息与车道信息融合在一起,噪声干扰很多,无法识别出车道线。如图9所示,引入镜面反射模型后处理效果得到很大改善,路面的其他信息点减弱许多,但噪声干扰还存在,车道线的特征点还不是很明显,但不影响车道线识别。图10是雾天情况下引入逆透视变换及差值分离后的结果。通过直方图修正道路图像灰度间距,增大道路和车道信息反差,再通过逆透视变换处理后路面干扰信息减少,车道线位置明显;进一步地通过差值分离处理,减弱前方车辆干扰,使车道线信息更加明显。
图11、图12分别为雨天和雾天两种情景下通过改进霍夫变换拟合出的车道线结果(拟合的车道线用蓝线标识)。这些结果也证明前述识别算法的可行性,实现道路信息的判断。
3 结 语
通过实验验证了所提出的复杂环境下车道线识别算法能够解决不同光照、雨雪、雾天等情况下车道线识别问题。但是,不同光照影响下道路信息会有所改变,光的反射和阴影都会造成伪边缘,而雨雪天气恶劣程度的不同,反射模型参数的选取以及阈值参数的设定都会不同,道路上行驶的车辆多少以及速度都会造成虚假边缘。该算法在计算机的计算时间与应用到自动驾驶汽车上的处理时间要求不同,今后还需对此算法进一步优化,提高其鲁棒性。
参考文献
[1] KIM Z W. Real time road detection by learning from one example [C]// Proceedings of 2005 IEEE Workshop on Application of Computer Vision. Washington, DC: ACM, 2005: 455?460.
[2] XU Youchun. Intelligent vehicle vision and GPS integrated navigation method research [D]. Jilin: Jilin University, 2001.
[3] 秦绪佳,王建奇,朱思达,等.基于GPU的四维医学图像动态快速体绘制[J].计算机辅助设计与图形学学报,2011,23(11):1789?1798.
[4] 张银霞.基于DM6437的车道线检测方法的研究[D].合肥:合肥工业大学,2012.
[5] 陈阳舟,闫豪杰,辛乐.车道线识别中的自适应Canny边缘检测及改进研究[J].交通信息与安全,2012(1):148?151.
[6] 鞠乾翱,应忍冬,蒋乐天.基于机器视觉的快速车道线识别[J].计算机应用研究,2013,30(5):1544?1546.
[7] 曾俊.图像边缘检测技术及其应用研究[D].武汉:华中科技大学,2011.
[8] LEVOY M. Display of surfaces from volume data [J]. IEEE computer graphics and applications, 1988, 8(3): 29?37.
[9] 陈家哲,罗文广,谢超艺,等.基于DM6437图像序列中的直线检测[J].广西科技大学学报,2014,25(3):44?48.