基于ARMCortex?A8平台的喷药机器人路径检测与仿真
任金波 郭翰林 洪瑛杰 张翔 林建
摘 要： 为了实现机器视觉在农业中的应用，研究了喷药机器人在植物道路中进行识别及路径检测的方法。以植物栽培中的道路为研究对象，采用HSV空间的S分量来实现道路图像灰度化，用Otsu算法进行二值化处理，将道路从绿色植物背景中分离出来，采用形态学滤波器对图像进行滤波操作。由于图像视野尽头道路弯曲的不确定性和道路尽头树木干扰等问题，提出将图像的前1/4行以黑色填充的方法和算法，使图像处理时减少不确定因素的干扰，提高导航线提取精度，最后利用霍夫变换得出喷药机器人在植物道路中的行走路径。结果表明，喷药农业机器人在植物道路中可准确识别到行走路径；道路识别时，处理一副像素450×310的图像平均耗时0.053 s；路径检测中，处理一副像素450×310的图像平均耗时0.062 s，可快速采集并完成图像处理，满足农业机器人导航的实时性要求。
关键词： 喷药机器人； 图像处理； 道路识别； 路径检测； 形态学滤波器
中图分类号： TN830.1?34； TP391.9 文献标识码： A 文章编号： 1004?373X（2017）22?0156?03
Abstract： In order to realize the application of machine vision in agriculture， the methods of spraying robots road recognition and path detection in plants are studied in this paper. Taking the road in plants as the research object， the component S of HSV space is adopted to realize the graying of road image. The graying image collected is binarized with Otsu algorithm， the road is separated from the green plant background， and then the image is filtered by morphological filter. Because of the problems such as the uncertainty of the curved road at the end of the image vision and the interference of the trees at the end of the road， the method that the first 1/4 lines of the image are filled with black is proposed to reduce the interference of the uncertain factors in the image processing and improve the extraction precision of the navigation line. The spraying robot′s walking path in plants is obtained with Hough transformation. The results show that the spraying robot can accurately identify the walking path in plants； when identifying the road， it takes the average time of 0.053 s to process an image with 430 × 310 pixel； in the path detection， it takes the average time of 0.062 s to process an image with 430 × 310 pixel. That means it can quickly capture and complete the image processing， and meet the requirement of real?time navigation for agricultural robots.
Keywords： spraying robot； image processing； road recognition； path detection； morphological filter
机器视觉是一种利用机器代替人眼进行观察、测量与判断的技术，首先利用摄像机获取目标图像，然后通过计算机算法将图像进行数字化处理和颜色、形状和尺寸等的测量与判别[1?2]。机器视觉技术因其非破坏性、精度高、速度快等特点，在現代农业生产中得到广泛应用[3]。视觉导航技术是机器视觉在导航领域的具体应用，其关键技术环节之一就是利用图像处理精确可靠地识别行走路径[4?5]。喷药是植物生长过程中的必要环节，喷药工作劳动强度大、严重危害工人健康，因而采用视觉导航技术实现喷药机器人自主喷洒作业具有重大现实意义。
1 喷药机器人结构
喷药机器人结构如图1所示，前行走轮安置在前轮转向轴上，转向电机控制前轮转向轴达到控制前行走轮转向的目的。摄像头固定在支撑架上，车体支架上有溶液箱和图像处理装置，溶液箱上装有喷药支架和喷药头，图像处理装置上设有显示屏。当图像处理系统得到的转向控制参数传给转向电机时，可实现机器人行走路径自动导航，同时两侧喷头自动喷药。
2 道路检测装置
2.1 ARM Cortex?A8平台装置结构
图像处理装置采用飞思卡尔公司产品的基于ARM Cortex?A8架构的高扩展性多核系列应用处理平台 i.MX6，其整体结构如图2所示。
软件开发单元在Visual Studio 2010平台进行程序的开发、编写，通过Arm?linux?gcc完成程序的交叉编译，并进行移植到开发板。ARM Cortex?A8图像分析系统主要对图像进行运算、分析，获得对目标路径的方位信息，提取出路径的拟合点信合，导航线信息，并进行导航偏角和偏移量的参数计算，并将参数传输到导航控制系统，为实现机器人路径导航自主作业奠定基础。
2.2 图像处理
图像处理主要包括利用喷药机器人在植物道路中采集图像，对图像进行灰度化二值化处理以分割出路径，滤波（突出特征）并提取路径拟合点，采取Hough变换提取导航路径直线等；最后在i.MX6处理平台完成导航线偏角和偏移量参数计算等，其流程如图3所示。
2.2.1 图像采集
受雨水、光照强度、石粒、杂草、灌木丛树条交叉缠绕、道路路面不平等自然环境和障碍物干扰、遮挡等影响，采集到的道路图像信息复杂。实地采集图像信息时，为使最后处理的路径清晰，尽量选在天气晴好、光照均匀、植物生长层次分明的道路上进行图像拍摄，以多角度、多方位、多道路识别的方法取得各类需要处理的图像素材。
2.2.2 图像灰度化
图像灰度化是将彩色图像转化为灰度图像的过程。彩色數字图像可有多种色彩空间模型来表达[6?7]，在计算机图像处理中，常采用RGB 模型和HSV 模型。首先需要将采集到的道路图片由RGB模型转换为HSV颜色空间模型，由于道路图像在空间转换过程中，H分量会出现大量的不稳定点和奇异点，不利于图像后续处理。因此本文采用通过调节HSV空间的S分量来实现图像的灰度化处理。
2.2.3 图像二值化
图像二值化是将整个图像呈现出明显的黑白效果，使图像中数据量减少，从而凸显出目标的轮廓[8]。目前，Otsu算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，在数字图像处理上得到了广泛应用[9?10]。根据图像视野尽头道路弯曲的不确定性和树木干扰等问题，提出将图像的前[14]行采用黑色填充的方法和算法，使图像处理时减少不确定因素的干扰，使得前部分预行驶的导航线更好地反映道路的走势特征，提高导航线提取的精度。
2.2.4 滤波（突出特征）
图像经Otsu算法进行二值化处理后，由于噪声影响，植物区域会出现较多噪声块，道路区域出现噪声孔，需要消除图像中的噪声成分，即需对图像进行滤波操作。
2.2.5 提取特征点
植物道路图像较为丰富，采集图像需要实时处理，图像处理提取特征点中具体算法过程为：构造一空表矩阵T，由[34]行开始逐行扫描图像，分别以左列及右列开始记录像素的0，1突变位置，然后找突变点坐标的中间值，即可得到路径的中间拟合点。由于图像存在噪声干扰，尤其存在黑色空洞时，而根据算法的选点原则，并结合统计学的规律考虑并不会影响整体结果。
2.2.6 提取导航路径
霍夫变换（Hough Transform）于1962年由Paul Hough次提出[11]，后于1972年由Richard Duda和Peter Hart推广使用[12]。霍夫变换可以从图像中分离出具有共同特征的几何要素。将算法提取的系列特征点经过霍夫变换后，可得喷药机器人的导航路径。
3 实验仿真
3.1 植物园弯曲道路仿真
为了验证算法的有效性，并分析道路识别及路径检测的准确性和实时性，在植物园中对不同的弯曲道路采用多角度、多方位、多视角进行拍摄采集，取得多幅图像，图像尺寸为450×310像素。实验中提取3帧图像进行处理以进行对比，如图4所示。提取的特征点图像如图5所示，最终得到喷药机器人的路径导航线如图6所示，其图像处理耗时见表1。
3.2 花圃平整道路仿真
在花圃中以不同拍摄角度采集花圃种植道路图像进行对比试验检测导航路径，实验同样提取3帧图像进行处理，图像尺寸为450×310像素，如图7所示。提取的特征点图像如图8所示，最终得到喷药机器人的路径导航线如图9所示，其图像处理耗时见表2。
从表1和表2可以看出，道路识别最少用时仅需0.049 s，路径检测最少用时仅需0.063 s，所采用的图像处理算法灵敏，可有效保证喷药机器人实时正常工作。 同时该算法减少了路径尽头的道路弯曲和树木杂草等不确定因素的干扰。检测到的导航线在喷药机器人预行驶的时间范围内，能够反映路径的走势特征，使农药机器人根据导航线获取导航偏角和偏距，控制行走轮实现喷药机器人的自动驾驶。
4 结 论
本文根据植物道路采集图像，采用HSV空间的S分量将图像灰度化，使用Otsu算法进行二值化处理，用形态学滤波器对图像进行滤波操作。提出了将图像的前1/4行以黑色填充的方法和算法，以减少图像视野尽头道路弯曲的不确定性和道路尽头树木干扰等问题，提高了导航线提取精度，最后利用霍夫变换得出喷药机器人在植物道路中的行走路径。通过采集多幅植物园和花圃中道路图像进行实验验证后，显示算法简单可靠，可快速采集并实时完成图像处理，为喷药机器人自主工作行走提供依据。
参考文献
[1] 赵晓霞.计算机视觉技术在农业中的应用[J].科技情报开发与经济，2004（4）：124?126.
[2] 王文静.机器视觉技术在现代农业中的应用[J].现代农业科技，2014（8）：335.
[3] 刁智华，王会丹，魏伟.机器视觉在农业生产中的应用研究[J].农机化研究，2014（3）：206?211.
[4] 周俊，姬长英.基于知识的视觉导航农业机器人行走路径识别[J].农业工程学报，2003（6）：101?105.
[5] 成莹，丁伟，丁向美，等.基于机器视觉的自走式喷药机械的田间路径识别研究[J].农业科技与装备，2010（8）：29?31.
[6] 章毓晋.图像工程（上）：图像处理和分析[M].北京：清华大学出版社，2001.
[7] 阮秋琦.数字图像处理学[M].北京：电子工业出版社，2001.
[8] 唐灵洁.车牌识别系统的研究[D].太原：中北大学，2013：20?24.
[9] 侯殿福.车窗检测技术研究[D].北京：北京交通大学，2011：17?19.
[10] 袁媛，李淼，陈晟，等.复杂背景黄瓜叶部病害图像分割方法[J].农业机械学报，2013（10）：233?237.
[11] HOUGH V， PAUL C. A method and means for recognizing complex patterns： US1771560A [P]. 1962?12?18.
[12] DUDA R O， HART P E. Use of the Hongh transform to detect lines and curves in pictures [J]. ACE Communications， 1972， 18（2）： 120?122.
摘 要： 为了实现机器视觉在农业中的应用，研究了喷药机器人在植物道路中进行识别及路径检测的方法。以植物栽培中的道路为研究对象，采用HSV空间的S分量来实现道路图像灰度化，用Otsu算法进行二值化处理，将道路从绿色植物背景中分离出来，采用形态学滤波器对图像进行滤波操作。由于图像视野尽头道路弯曲的不确定性和道路尽头树木干扰等问题，提出将图像的前1/4行以黑色填充的方法和算法，使图像处理时减少不确定因素的干扰，提高导航线提取精度，最后利用霍夫变换得出喷药机器人在植物道路中的行走路径。结果表明，喷药农业机器人在植物道路中可准确识别到行走路径；道路识别时，处理一副像素450×310的图像平均耗时0.053 s；路径检测中，处理一副像素450×310的图像平均耗时0.062 s，可快速采集并完成图像处理，满足农业机器人导航的实时性要求。
关键词： 喷药机器人； 图像处理； 道路识别； 路径检测； 形态学滤波器
中图分类号： TN830.1?34； TP391.9 文献标识码： A 文章编号： 1004?373X（2017）22?0156?03
Abstract： In order to realize the application of machine vision in agriculture， the methods of spraying robots road recognition and path detection in plants are studied in this paper. Taking the road in plants as the research object， the component S of HSV space is adopted to realize the graying of road image. The graying image collected is binarized with Otsu algorithm， the road is separated from the green plant background， and then the image is filtered by morphological filter. Because of the problems such as the uncertainty of the curved road at the end of the image vision and the interference of the trees at the end of the road， the method that the first 1/4 lines of the image are filled with black is proposed to reduce the interference of the uncertain factors in the image processing and improve the extraction precision of the navigation line. The spraying robot′s walking path in plants is obtained with Hough transformation. The results show that the spraying robot can accurately identify the walking path in plants； when identifying the road， it takes the average time of 0.053 s to process an image with 430 × 310 pixel； in the path detection， it takes the average time of 0.062 s to process an image with 430 × 310 pixel. That means it can quickly capture and complete the image processing， and meet the requirement of real?time navigation for agricultural robots.
Keywords： spraying robot； image processing； road recognition； path detection； morphological filter
机器视觉是一种利用机器代替人眼进行观察、测量与判断的技术，首先利用摄像机获取目标图像，然后通过计算机算法将图像进行数字化处理和颜色、形状和尺寸等的测量与判别[1?2]。机器视觉技术因其非破坏性、精度高、速度快等特点，在現代农业生产中得到广泛应用[3]。视觉导航技术是机器视觉在导航领域的具体应用，其关键技术环节之一就是利用图像处理精确可靠地识别行走路径[4?5]。喷药是植物生长过程中的必要环节，喷药工作劳动强度大、严重危害工人健康，因而采用视觉导航技术实现喷药机器人自主喷洒作业具有重大现实意义。
1 喷药机器人结构
喷药机器人结构如图1所示，前行走轮安置在前轮转向轴上，转向电机控制前轮转向轴达到控制前行走轮转向的目的。摄像头固定在支撑架上，车体支架上有溶液箱和图像处理装置，溶液箱上装有喷药支架和喷药头，图像处理装置上设有显示屏。当图像处理系统得到的转向控制参数传给转向电机时，可实现机器人行走路径自动导航，同时两侧喷头自动喷药。
2 道路检测装置
2.1 ARM Cortex?A8平台装置结构
图像处理装置采用飞思卡尔公司产品的基于ARM Cortex?A8架构的高扩展性多核系列应用处理平台 i.MX6，其整体结构如图2所示。
软件开发单元在Visual Studio 2010平台进行程序的开发、编写，通过Arm?linux?gcc完成程序的交叉编译，并进行移植到开发板。ARM Cortex?A8图像分析系统主要对图像进行运算、分析，获得对目标路径的方位信息，提取出路径的拟合点信合，导航线信息，并进行导航偏角和偏移量的参数计算，并将参数传输到导航控制系统，为实现机器人路径导航自主作业奠定基础。
2.2 图像处理
图像处理主要包括利用喷药机器人在植物道路中采集图像，对图像进行灰度化二值化处理以分割出路径，滤波（突出特征）并提取路径拟合点，采取Hough变换提取导航路径直线等；最后在i.MX6处理平台完成导航线偏角和偏移量参数计算等，其流程如图3所示。
2.2.1 图像采集
受雨水、光照强度、石粒、杂草、灌木丛树条交叉缠绕、道路路面不平等自然环境和障碍物干扰、遮挡等影响，采集到的道路图像信息复杂。实地采集图像信息时，为使最后处理的路径清晰，尽量选在天气晴好、光照均匀、植物生长层次分明的道路上进行图像拍摄，以多角度、多方位、多道路识别的方法取得各类需要处理的图像素材。
2.2.2 图像灰度化
图像灰度化是将彩色图像转化为灰度图像的过程。彩色數字图像可有多种色彩空间模型来表达[6?7]，在计算机图像处理中，常采用RGB 模型和HSV 模型。首先需要将采集到的道路图片由RGB模型转换为HSV颜色空间模型，由于道路图像在空间转换过程中，H分量会出现大量的不稳定点和奇异点，不利于图像后续处理。因此本文采用通过调节HSV空间的S分量来实现图像的灰度化处理。
2.2.3 图像二值化
图像二值化是将整个图像呈现出明显的黑白效果，使图像中数据量减少，从而凸显出目标的轮廓[8]。目前，Otsu算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，在数字图像处理上得到了广泛应用[9?10]。根据图像视野尽头道路弯曲的不确定性和树木干扰等问题，提出将图像的前[14]行采用黑色填充的方法和算法，使图像处理时减少不确定因素的干扰，使得前部分预行驶的导航线更好地反映道路的走势特征，提高导航线提取的精度。
2.2.4 滤波（突出特征）
图像经Otsu算法进行二值化处理后，由于噪声影响，植物区域会出现较多噪声块，道路区域出现噪声孔，需要消除图像中的噪声成分，即需对图像进行滤波操作。
2.2.5 提取特征点
植物道路图像较为丰富，采集图像需要实时处理，图像处理提取特征点中具体算法过程为：构造一空表矩阵T，由[34]行开始逐行扫描图像，分别以左列及右列开始记录像素的0，1突变位置，然后找突变点坐标的中间值，即可得到路径的中间拟合点。由于图像存在噪声干扰，尤其存在黑色空洞时，而根据算法的选点原则，并结合统计学的规律考虑并不会影响整体结果。
2.2.6 提取导航路径
霍夫变换（Hough Transform）于1962年由Paul Hough次提出[11]，后于1972年由Richard Duda和Peter Hart推广使用[12]。霍夫变换可以从图像中分离出具有共同特征的几何要素。将算法提取的系列特征点经过霍夫变换后，可得喷药机器人的导航路径。
3 实验仿真
3.1 植物园弯曲道路仿真
为了验证算法的有效性，并分析道路识别及路径检测的准确性和实时性，在植物园中对不同的弯曲道路采用多角度、多方位、多视角进行拍摄采集，取得多幅图像，图像尺寸为450×310像素。实验中提取3帧图像进行处理以进行对比，如图4所示。提取的特征点图像如图5所示，最终得到喷药机器人的路径导航线如图6所示，其图像处理耗时见表1。
3.2 花圃平整道路仿真
在花圃中以不同拍摄角度采集花圃种植道路图像进行对比试验检测导航路径，实验同样提取3帧图像进行处理，图像尺寸为450×310像素，如图7所示。提取的特征点图像如图8所示，最终得到喷药机器人的路径导航线如图9所示，其图像处理耗时见表2。
从表1和表2可以看出，道路识别最少用时仅需0.049 s，路径检测最少用时仅需0.063 s，所采用的图像处理算法灵敏，可有效保证喷药机器人实时正常工作。 同时该算法减少了路径尽头的道路弯曲和树木杂草等不确定因素的干扰。检测到的导航线在喷药机器人预行驶的时间范围内，能够反映路径的走势特征，使农药机器人根据导航线获取导航偏角和偏距，控制行走轮实现喷药机器人的自动驾驶。
4 结 论
本文根据植物道路采集图像，采用HSV空间的S分量将图像灰度化，使用Otsu算法进行二值化处理，用形态学滤波器对图像进行滤波操作。提出了将图像的前1/4行以黑色填充的方法和算法，以减少图像视野尽头道路弯曲的不确定性和道路尽头树木干扰等问题，提高了导航线提取精度，最后利用霍夫变换得出喷药机器人在植物道路中的行走路径。通过采集多幅植物园和花圃中道路图像进行实验验证后，显示算法简单可靠，可快速采集并实时完成图像处理，为喷药机器人自主工作行走提供依据。
参考文献
[1] 赵晓霞.计算机视觉技术在农业中的应用[J].科技情报开发与经济，2004（4）：124?126.
[2] 王文静.机器视觉技术在现代农业中的应用[J].现代农业科技，2014（8）：335.
[3] 刁智华，王会丹，魏伟.机器视觉在农业生产中的应用研究[J].农机化研究，2014（3）：206?211.
[4] 周俊，姬长英.基于知识的视觉导航农业机器人行走路径识别[J].农业工程学报，2003（6）：101?105.
[5] 成莹，丁伟，丁向美，等.基于机器视觉的自走式喷药机械的田间路径识别研究[J].农业科技与装备，2010（8）：29?31.
[6] 章毓晋.图像工程（上）：图像处理和分析[M].北京：清华大学出版社，2001.
[7] 阮秋琦.数字图像处理学[M].北京：电子工业出版社，2001.
[8] 唐灵洁.车牌识别系统的研究[D].太原：中北大学，2013：20?24.
[9] 侯殿福.车窗检测技术研究[D].北京：北京交通大学，2011：17?19.
[10] 袁媛，李淼，陈晟，等.复杂背景黄瓜叶部病害图像分割方法[J].农业机械学报，2013（10）：233?237.
[11] HOUGH V， PAUL C. A method and means for recognizing complex patterns： US1771560A [P]. 1962?12?18.
[12] DUDA R O， HART P E. Use of the Hongh transform to detect lines and curves in pictures [J]. ACE Communications， 1972， 18（2）： 120?122.
