基于红外热成像的山火识别技术研究
余阳+赵海龙+韩来君
摘 要： 针对传统火灾监控系统监控范围小、灵敏度差、易受环境影响等问题，设计并实现了一套基于红外热成像处理技术的山火识别系统。該系统对红外热灰色图像先后经过预处理、疑似火灾区域的分割和平滑处理以及动静态特征提取，同时结合烟雾温度传感器的辅助判断，利用SVM和AdaBoost两类分类器融合算法对森林火灾进行监控、识别和警报。实验结果表明，该系统能对火灾火焰进行有效识别，能为类似火灾监控系统的开发及实现提供技术指导。
关键词： 火灾监控； 红外热图像处理； SVM； AdaBoost
中图分类号： TN911.73?34； TP393 文献标识码： A 文章编号： 1004?373X（2017）24?0077?03
Abstract： Since the traditional fire monitoring system has the problems of small monitoring range and poor sensitivity， and is easily influenced by environment， a forest fire identification system based on infrared thermal image processing technology was designed and implemented. The system conducts the operations of preprocessing， suspected fire region segmentation， smoothing processing and static?dynamic feature extraction for the infrared gray images， and is combined with the assisted judgment of the smoke and temperature sensors. The algorithm fusing the SVM and AdaBoost classifiers is used to monitor and recognize the forest fire， and raise the alarm for it. The simulation and experiment results show that the system can identify the fire flame effectively， and provide the technical guidance for the development and implementation of the similar fire monitoring systems.
Keywords： fire monitoring； infrared thermal image processing； SVM； AdaBoost
传统的自动监测系统监控面积小，传感器灵敏度和监控范围容易受到限制，因此监控效果差[1?3]。本文建立了一套用于监测输电走廊附近山林的火灾识别系统。该系统基于红外热成像处理技术，经图像增强、分割和提取疑似火灾区域的动静态特征等图像处理操作[4?5]，并结合现场布置的温度、烟雾等传感器节点监测值的辅助判断，再利用SVM和AdaBoost两类分类器对火灾进行识别，实际使用效果良好。
1 红外热像图采集系统及预处理
1.1 系统设计
硬件系统如图1所示。该系统主要涵盖了电源管理、图像采集以及无线传输等模块，硬件部分以钢结构固定在山中输电走廊的铁塔上。电源模块使用了GH808太阳能控制器（IP67），可靠性高。
控制模块负责控制系统的全方位运行，包括采集图像、温度和烟雾值。红外热像图采集模块使用的是以非制冷多晶硅焦平面探测器为核心的红外热成像仪，该模块负责采集分辨率为384×288的灰度图像，灰度值（亮度）和实际热量成正比。无线传输模块利用3G网络对数据进行传输，以方便数据中心对监控数据的分析与处理。此外，本文系统还布置了温度和烟雾传感器（基于ZigBee技术）以提高对火灾的识别准确率。
文中山火识别系统的核心为火灾识别算法，相关算法流程图如图2所示。
1.2 预处理
预处理过程主要是利用相关的降噪滤波技术对红外热像图进行处理[6]。本文选用的是适合红外热像图的非线性中值滤波技术，该技术能在去噪的同时保证图像边缘清晰，从而保护火灾火焰区域的轮廓，效果见图3。
2 红外热像图分割和处理
2.1 分割算法
本文图像的分割结合了阈值分割法和区域生长法[7?8]：前者包括Otus和双峰法，分别用于火灾初期和燃烧期红外热像图的识别操作；后者则是按照预先设定的生长准则（针对区域灰度差相似准则）将种子（像素点或子区域）组合成更大的生长区域。
图像分割算法仿真结果如图4所示。图4（b）为火灾红外热像图中的种子点（像素值大于设定阈值210），图4（c）为相应的经过阈值测试的点，连接种子点像素生长即得到分割图像见图4（d）。
2.2 平滑处理
经过上述红外热像图分割操作即得到黑白二值图像（黑色为非火灾区域），但会存在较小、不平滑且不连续的火焰区域及噪声点，需要利用膨胀算法来解决。某集合M针对某二值化图像代表的集合Y进行膨胀运算定义如下：
此外，本文还使用腐蚀算法来除去火灾区域边界点和噪声，其效果与膨胀相反。引入开操作来定义对某一图像依次进行腐蚀再膨胀运算；闭操作定义为依次进行膨胀再腐蚀运算。经过比较，最终选择使用闭操作来对分割后的图像进行平滑处理。
3 疑似火灾区域相关特征提取
3.1 静态特征提取
疑似火灾区域的火焰具有周长、圆形度、面积、尖角数、边界粗糙度等几何特征，以这些特征作为标准即可对疑似火灾区域进行初步判断[9]。以面积特征为例，如图5所示，即为火灾和干扰物视频中提取出来的连续100帧图像中每帧疑似火灾像素面积与帧数变化关系图。可以明显看到，火灾燃烧造成火灾区域在每帧的剧烈波动。
此外，疑似火灾区域还具有直方图、纹理等静态特征。结合上述各项特征，可提高对疑似火灾区域的识别准确度。
3.2 动态特征提取
静态特征均是从视频的每帧图像上获得的，若只是以此为判断依据，容易将其与类似图样的非火灾目标混淆。因此，本文以多张连续红外热像图为研究目标，获取动态特征如火焰尖角个数变化、质心位移和面积变化率等。同样以面积为例，如图6所示，即为面积变化率随帧数变化的波动曲线。易知，火灾图像的面积变化率波动剧烈，其他图像较为平缓。因此，可将面积变化率作为火灾判断的动态依据，排除固定干扰源的影响。
4 红外热像图火灾模式识别仿真与实验
本文选用网络数据和设备测得的实验数据作为图像数据，并结合网络上的相似场景设计了21组火灾模拟实验，包括有火灾的13个场景和无火灾的白炽灯、动物、蜡烛、高温物体共4个无火灾场景。此外，文中还通过测试错误率以及ROC曲线来评估本系统的识别结果与真实数据是否吻合，借此判断系统的识别效果。
山火识别过程中，本文以线性加权的方式对SVM和AdaBoost分类器进行融合，从而提高该系统识别火灾的鲁棒性和准确性。融合示意图如图7所示，最终得到最佳系数下的公式为：
对融合后的分类器进行仿真测试，得到的准确率和ROC曲线如图8、图9所示。由此两图可知，融合后的分类器识别准确率达到92.8%，曲线下的面积AUC达到0.93，其融合后性能得到了大幅提高。
现场安装和软件识别效果见图10，软件由C#语言在VS.Net平台开发实现；算法采用C++语言在OpenCV计算机视觉库基础上开发完成。实际使用过程中，本系统成功识别了距热红外相机1 000 m外40 cm直径的铁罐内点燃的可燃物，软件界面中的红色标注随铁桶的移动而移动，且随铁桶的移走而消失，排除了噪声干扰的可能，如图10（c）所示。由此表明，本系统和算法具有一定的有效性与可靠性，能够用于对山林火灾的识别及监控操作。
5 结 语
针对传统火灾监控系统监控范围小、灵敏度差、易受环境影响等问题，本文基于红外热成像处理技术，设计并实现了一套山火识别系统。该系统通过对红外热灰色图像的预处理、疑似火灾区域的分割和形态学处理以及动静态特征提取，同时结合烟雾温度传感器的辅助判断，利用SVM和AdaBoost分类器融合算法，对森林火灾进行监控与识别。仿真及实际实验结果表明，该系统能对火灾火焰进行有效识别，具有一定的应用前景。
参考文献
[1] JIA J， LU S. A mission?oriented risk assessment methodology for naval vessel fire caused by non?contact explosions using Bayesian networks [J]. Procedia engineering， 2013， 62（7）： 573?580.
[2] 吴田，阮江军，胡毅，等.500 kV輸电线路的山火击穿特性及机制研究[J].中国电机工程学报，2011，31（34）：163?170.
[3] LIN Y K， YANG J N. A stochastic theory of fatigue crack propagation [J]. Aiaa Journal， 2012， 23（1）： 117?124.
[4] LETHAM B， RUDIN C， MCCORMICK T H， et al. Interpretable classifiers using rules and Bayesian analysis： Building a better stroke prediction model [J]. Annals of applied statistics， 2015， 9（3）： 1350?1371.
[5] 王文光.基于无线传感器网络的新型火灾探测节点研究[D].合肥：合肥工业大学，2010.
[6] 龚声蓉，刘纯平，王强.数字图像处理与分析[M].北京：清华大学出版社，2006.
[7] 章毓晋.图像工程（中册）：图像分析[M].北京：清华大学出版社，2005.
[8] 贾永红.数字图像处理[M].2版.北京：武汉大学出版社，2010.
[9] ZHOU X L， YU F X， WEN Y C， et al. Early Fire detection based on flame contours in video [J]. Information technology journal， 2010， 9（5）： 899?908.
摘 要： 针对传统火灾监控系统监控范围小、灵敏度差、易受环境影响等问题，设计并实现了一套基于红外热成像处理技术的山火识别系统。該系统对红外热灰色图像先后经过预处理、疑似火灾区域的分割和平滑处理以及动静态特征提取，同时结合烟雾温度传感器的辅助判断，利用SVM和AdaBoost两类分类器融合算法对森林火灾进行监控、识别和警报。实验结果表明，该系统能对火灾火焰进行有效识别，能为类似火灾监控系统的开发及实现提供技术指导。
关键词： 火灾监控； 红外热图像处理； SVM； AdaBoost
中图分类号： TN911.73?34； TP393 文献标识码： A 文章编号： 1004?373X（2017）24?0077?03
Abstract： Since the traditional fire monitoring system has the problems of small monitoring range and poor sensitivity， and is easily influenced by environment， a forest fire identification system based on infrared thermal image processing technology was designed and implemented. The system conducts the operations of preprocessing， suspected fire region segmentation， smoothing processing and static?dynamic feature extraction for the infrared gray images， and is combined with the assisted judgment of the smoke and temperature sensors. The algorithm fusing the SVM and AdaBoost classifiers is used to monitor and recognize the forest fire， and raise the alarm for it. The simulation and experiment results show that the system can identify the fire flame effectively， and provide the technical guidance for the development and implementation of the similar fire monitoring systems.
Keywords： fire monitoring； infrared thermal image processing； SVM； AdaBoost
传统的自动监测系统监控面积小，传感器灵敏度和监控范围容易受到限制，因此监控效果差[1?3]。本文建立了一套用于监测输电走廊附近山林的火灾识别系统。该系统基于红外热成像处理技术，经图像增强、分割和提取疑似火灾区域的动静态特征等图像处理操作[4?5]，并结合现场布置的温度、烟雾等传感器节点监测值的辅助判断，再利用SVM和AdaBoost两类分类器对火灾进行识别，实际使用效果良好。
1 红外热像图采集系统及预处理
1.1 系统设计
硬件系统如图1所示。该系统主要涵盖了电源管理、图像采集以及无线传输等模块，硬件部分以钢结构固定在山中输电走廊的铁塔上。电源模块使用了GH808太阳能控制器（IP67），可靠性高。
控制模块负责控制系统的全方位运行，包括采集图像、温度和烟雾值。红外热像图采集模块使用的是以非制冷多晶硅焦平面探测器为核心的红外热成像仪，该模块负责采集分辨率为384×288的灰度图像，灰度值（亮度）和实际热量成正比。无线传输模块利用3G网络对数据进行传输，以方便数据中心对监控数据的分析与处理。此外，本文系统还布置了温度和烟雾传感器（基于ZigBee技术）以提高对火灾的识别准确率。
文中山火识别系统的核心为火灾识别算法，相关算法流程图如图2所示。
1.2 预处理
预处理过程主要是利用相关的降噪滤波技术对红外热像图进行处理[6]。本文选用的是适合红外热像图的非线性中值滤波技术，该技术能在去噪的同时保证图像边缘清晰，从而保护火灾火焰区域的轮廓，效果见图3。
2 红外热像图分割和处理
2.1 分割算法
本文图像的分割结合了阈值分割法和区域生长法[7?8]：前者包括Otus和双峰法，分别用于火灾初期和燃烧期红外热像图的识别操作；后者则是按照预先设定的生长准则（针对区域灰度差相似准则）将种子（像素点或子区域）组合成更大的生长区域。
图像分割算法仿真结果如图4所示。图4（b）为火灾红外热像图中的种子点（像素值大于设定阈值210），图4（c）为相应的经过阈值测试的点，连接种子点像素生长即得到分割图像见图4（d）。
2.2 平滑处理
经过上述红外热像图分割操作即得到黑白二值图像（黑色为非火灾区域），但会存在较小、不平滑且不连续的火焰区域及噪声点，需要利用膨胀算法来解决。某集合M针对某二值化图像代表的集合Y进行膨胀运算定义如下：
此外，本文还使用腐蚀算法来除去火灾区域边界点和噪声，其效果与膨胀相反。引入开操作来定义对某一图像依次进行腐蚀再膨胀运算；闭操作定义为依次进行膨胀再腐蚀运算。经过比较，最终选择使用闭操作来对分割后的图像进行平滑处理。
3 疑似火灾区域相关特征提取
3.1 静态特征提取
疑似火灾区域的火焰具有周长、圆形度、面积、尖角数、边界粗糙度等几何特征，以这些特征作为标准即可对疑似火灾区域进行初步判断[9]。以面积特征为例，如图5所示，即为火灾和干扰物视频中提取出来的连续100帧图像中每帧疑似火灾像素面积与帧数变化关系图。可以明显看到，火灾燃烧造成火灾区域在每帧的剧烈波动。
此外，疑似火灾区域还具有直方图、纹理等静态特征。结合上述各项特征，可提高对疑似火灾区域的识别准确度。
3.2 动态特征提取
静态特征均是从视频的每帧图像上获得的，若只是以此为判断依据，容易将其与类似图样的非火灾目标混淆。因此，本文以多张连续红外热像图为研究目标，获取动态特征如火焰尖角个数变化、质心位移和面积变化率等。同样以面积为例，如图6所示，即为面积变化率随帧数变化的波动曲线。易知，火灾图像的面积变化率波动剧烈，其他图像较为平缓。因此，可将面积变化率作为火灾判断的动态依据，排除固定干扰源的影响。
4 红外热像图火灾模式识别仿真与实验
本文选用网络数据和设备测得的实验数据作为图像数据，并结合网络上的相似场景设计了21组火灾模拟实验，包括有火灾的13个场景和无火灾的白炽灯、动物、蜡烛、高温物体共4个无火灾场景。此外，文中还通过测试错误率以及ROC曲线来评估本系统的识别结果与真实数据是否吻合，借此判断系统的识别效果。
山火识别过程中，本文以线性加权的方式对SVM和AdaBoost分类器进行融合，从而提高该系统识别火灾的鲁棒性和准确性。融合示意图如图7所示，最终得到最佳系数下的公式为：
对融合后的分类器进行仿真测试，得到的准确率和ROC曲线如图8、图9所示。由此两图可知，融合后的分类器识别准确率达到92.8%，曲线下的面积AUC达到0.93，其融合后性能得到了大幅提高。
现场安装和软件识别效果见图10，软件由C#语言在VS.Net平台开发实现；算法采用C++语言在OpenCV计算机视觉库基础上开发完成。实际使用过程中，本系统成功识别了距热红外相机1 000 m外40 cm直径的铁罐内点燃的可燃物，软件界面中的红色标注随铁桶的移动而移动，且随铁桶的移走而消失，排除了噪声干扰的可能，如图10（c）所示。由此表明，本系统和算法具有一定的有效性与可靠性，能够用于对山林火灾的识别及监控操作。
5 结 语
针对传统火灾监控系统监控范围小、灵敏度差、易受环境影响等问题，本文基于红外热成像处理技术，设计并实现了一套山火识别系统。该系统通过对红外热灰色图像的预处理、疑似火灾区域的分割和形态学处理以及动静态特征提取，同时结合烟雾温度传感器的辅助判断，利用SVM和AdaBoost分类器融合算法，对森林火灾进行监控与识别。仿真及实际实验结果表明，该系统能对火灾火焰进行有效识别，具有一定的应用前景。
参考文献
[1] JIA J， LU S. A mission?oriented risk assessment methodology for naval vessel fire caused by non?contact explosions using Bayesian networks [J]. Procedia engineering， 2013， 62（7）： 573?580.
[2] 吴田，阮江军，胡毅，等.500 kV輸电线路的山火击穿特性及机制研究[J].中国电机工程学报，2011，31（34）：163?170.
[3] LIN Y K， YANG J N. A stochastic theory of fatigue crack propagation [J]. Aiaa Journal， 2012， 23（1）： 117?124.
[4] LETHAM B， RUDIN C， MCCORMICK T H， et al. Interpretable classifiers using rules and Bayesian analysis： Building a better stroke prediction model [J]. Annals of applied statistics， 2015， 9（3）： 1350?1371.
[5] 王文光.基于无线传感器网络的新型火灾探测节点研究[D].合肥：合肥工业大学，2010.
[6] 龚声蓉，刘纯平，王强.数字图像处理与分析[M].北京：清华大学出版社，2006.
[7] 章毓晋.图像工程（中册）：图像分析[M].北京：清华大学出版社，2005.
[8] 贾永红.数字图像处理[M].2版.北京：武汉大学出版社，2010.
[9] ZHOU X L， YU F X， WEN Y C， et al. Early Fire detection based on flame contours in video [J]. Information technology journal， 2010， 9（5）： 899?908.
