基于智能人形识别的港口无人区监控系统关键技术

宓为建 何鑫 沈阳 宓超






摘要:为改善以人工为主的传统监控系统,在天津港煤码头无人区运用智能视频监控技术进行智能人形识别监控研究.该技术利用优化的方向梯度直方图(Histogram of Oriented Gradient,HOG)算法快速对人体轮廓进行描述;结合基于港口实际场景训练得到的支持向量机分类器,标定出图像中有人的区域.在天津港煤码头无人区的现场实验表明,该技术对一幅320×240像素的图像的检测时间小于200 ms,满足港口监控实时性的要求.对具有复杂背景的监控区域,该技术能够高效地进行人形目标的匹配与识别,从而使安全得到更有效的保障.
关键词:人形识别; 方向梯度直方图(HOG); 支持向量机(SVM); 监控系统
中图分类号: U698.5;TN911.73
文献标志码: A
Abstract:In order to improve the traditional monitoring system relying on artificial maintenance, the intelligent video surveillance technique is applied to the study on intelligent human profile recognition in noman area of a coal terminal in Tianjin Port. The technique can quickly describe the profile of human body by the optimized algorithm of Histogram of Oriented Gradient (HOG); the area where there exist some people in the images can be marked with the Support Vector Machine (SVM) classifier trained with consideration of the port real scene images. The experiment in the scene of noman area of the coal terminal in Tianjin Port shows that the processing time of a 320×240 image is within 200 ms by the technique, which meets the realtime requirement of monitoring in ports. This technique can efficiently match and recognize the human profile in the monitoring area with complex background, which ensures a higher level of security and safety.
Key words:human profile recognition; Histogram of Oriented Gradient (HOG); Support Vector Machine (SVM); monitoring system
0引言
天津港煤码头作业区内有大量重型机械,为防止作业过程中有人擅自进入作业区,发生人员伤亡事故,码头在作业区入口处放置“人员禁止入内”的指示牌,该区域相应地被称为无人区.为实时掌握作业区域是否有人的情况,码头仍采用传统的视频监控方法,对需要监控的区域安装摄像头,同时安排专门人员观看所有摄像头的监控图像.然而,这种以人工为主的传统监控系统不能实时阻止危险行为的发生.当然,监控设备有限、监控系统的漏报和误报、数据分析困难以及响应时间长也极大地削弱系统的安全性和实用性.因此,通过智能技术分析大量的视频信息以发现人体目标已经成为许多码头管理者共同的心声.
智能视频监控[1]采用计算机视觉的方法,在几乎不需人为干预的情况下由机器实时、自动地分析视频图像源,从中识别并提取有用的关键信息,对动态场景中的目标进行定位、识别和跟踪,并对目标的行为进行识别和理解,做到实时监控、即时反映.在智能视频监控系统中,首要的问题就是如何进行人形识别,有效的人体行为识别算法是该系统鲁棒性和实用性的核心.基于人形识别技术的智能视频监控系统代表着监控行业未来的发展方向,因其实时性、高精确度、快响应性而具有广阔的应用前景.
目前,人形识别方法主要有以下几种:(1)采用红外报警[2],根据外界红外能量的变化判断是否有人在移动.人体的红外能量与环境有差别,但若需要监控的范围很大,则采用红外识别技术投资成本会较高,且设备安装布置会很复杂.(2)在监控区周围布置地面线圈的方法.这种方法缺乏一定的智能性,不仅对人具有敏感性,还可能因动物等其他物体的运动而误报警.(3)基于运动的人形识别方法.这种方法的检测效率相对于前两种方法有很大的提升,尤其是在室内这种背景固定的场景下.但港口无人区有很多作业机械和运动车辆,这种方法缺少图像形态学的特征提取和智能分类,因而会导致大量的误报警现象.基于此,必须找出适用于具有复杂背景的港口的人形识别方法[3].这对基于单帧图像的图像处理技术提出很高的要求.[4]
LI等[5]将方向梯度直方图(Histogram of Oriented Gradient,HOG)与卡尔曼滤波器相结合,在缩短人形检测时间的同时提高人形识别和跟踪的准确率;吴冬梅等[6]用Hu矩和Zernike矩进行人形识别;胡景荣等[7]提出一种基于支持向量机(Support Vector Machine,SVM)的人形识别算法,通过对静态图像的小波变换[8]提取目标的局部形状突变特征,并结合动态帧的步态特征,利用支持向量机对小样本进行学习与识别.HOG特征提取方法是DALAL等[9]在2005年的IEEE计算机视觉与模式识别国际会议(CVPR)上首次提出的,该方法依赖于轮廓相对于背景的对比度,其密集型特征扫描不易受图像几何以及光学的形变的影响,且可以忽略人的一些细微的肢体动作,因此该方法特别适用于图像中的人形检测.
HOG需要在每个不同尺度的图像上利用一个小的矩形检测窗口进行滑动密集扫描,而一个检测窗口可以提取出3 780维的HOG特征作为SVM分类器的分类依据.一幅图像720p的图层中就有一万多个窗口需要逐个计算分类,这使识别过程很慢.因此,本文提出一种改进的HOG算法:不对原有的特征向量进行删选(不降低识别的精度),而是利用一个快速的算法避免原始HOG特征的大量重复运算,同时忽略部分不重要特征的影响.运用HOG优化算法提取图像特征,然后通过SVM进行人形识别分类,最后在识别率基本一致的情况下,开发出一套适用于港口高复杂度背景下的人形识别监控系统,整体效率相对传统的算法提高了6倍.
1HOG优化算法
1.1HOG特征概述
研究发现,稀疏局部特征无法完整地描绘人体对象,因为人的高矮胖瘦、不同场景的照明情况以及背景都可能存在很大的差异,而HOG特征能将人体的特征描述综合成一种鲁棒性非常高的特征向量空间,基本完整地描绘出人体的轮廓特征.[10]因此,本文使用优化的HOG特征表达人体,通过提取人体的外形信息和运动信息,形成丰富的、具有较强鲁棒性的特征集.具体特征提取算法流程[11]见图1.
本文所使用的SVM分类器为libSVM.实验所用行人库为港口实际背景样本库.使用SVM进行训练的主要步骤如下:
步骤1完善样本库,根据摄像机现场拍摄到的图像,将有人的区域以大小为64×128的窗口裁剪并作为正样本保存,无人的图片都作为负样本.
步骤2将完善之后的样本库中的正负样本进行分类标记,正样本都标记为+1,负样本都标记为-1,并对每个样本调用HOG函数提取3 780维HOG特征.
步骤3将提取的HOG特征投入SVM中训练,得到初始分类器.
步骤4利用初步训练得到的检测模型检测港口实际背景负样本,可以发现检测结果中有许多标签为+1,即将样本误识别为人.
步骤5提取上一步中检测错误的样本的HOG特征(如果训练样本数量太多,可以进行二次抽样,即选取部分样本提取HOG特征),与第2步中正负样本的HOG特征综合起来,再进行训练,得到最终的分类器.
3多尺度检测融合算法
对于一个二分类检测器,检测窗口对不同尺度图像的每个位置进行密集扫描.在该过程中,由于检测窗口大小固定,而图像中的目标可大可小,为检测到图像中的人体目标,一般的处理方法是把图像进行多尺度缩放,图像的最小尺度与训练窗口相同.在每个缩放后的图层上进行检测窗口的遍历,就可以检测出在图像中大小不一的人体,解决在人体检测中的尺度难题.由检测结果可知,相邻的检测窗口通常是重叠的,即图像中目标所在的位置附近一般会产生多个相互重叠的矩形框,如图7中的虚线框,因此需要将这些结果融合为一个对检测对象最终的描述.本文把寻优的过程当作一个非极大值抑制响应,解决方法是给出定位模式的密度估计.使用一个基于Meanshift(均值漂移)[14]模式检测程序,指向概率密度最大的位置,即得对当前对象最准确的描述.具体融合步骤如下:
步骤1将检测结果(通常以+1或-1的数字形式表现,其中+1表示识别为目标)保存到一个目标列表中,然后将列表中的每个检测结果投影到三维空间表示成点yi.
步骤4对每一模态,按照最终的中心点位置和尺度画出检测框.
图7中的虚线框群是初始多尺度检测的离散结果.从这些结果的左上顶点中随机选取一个点作为融合的起点,然后迭代其附近一定范围内的点计算收敛的位置.为保证检测到人的位置的准确度,将离散结果中最接近收敛位置的点作为最终收敛结果.结果表明,所有的虚线框融合成一个实线框,证明融合算法的可行性.
4系统硬件框架及实验结果分析
4.1系统硬件框架
图8为基于人工智能的自适应视觉识别系统的硬件结构,主要包括3部分:摄像头、计算板卡和用来显示监控画面及简单操作的监控服务器.
图9为系统现场安装位置.系统在禁区识别到人体后,会通过PLC发出报警信号,以免监控人员走神产生的疏漏.
4.2实验结果分析
随机抽取煤码头现场作业区域夜晚的检测图像,见图10.
由现场检测图像可知,系统识别效果良好,对一幅320×240的图像,平均检测时间小于200 ms,满足港口监控实时性的要求.在对晴天和阴雨天分别连续观测24 h后,对实验结果进行统计,见表1.
由表1可知,无论在何种天气、何时间段,系统的检测值均大于真实值,说明系统对人形漏检的概率为0,但有时会将其他物体误识别为人形,误检率3.3%~16.7%.主要原因分析如下:本文提出的方法仅仅是针对静态图像的,缺少动态信息,且未将图像中的纹理信息、颜色等其他特征与HOG特征相结合,所以对于天津港煤码头这种具有复杂背景的监控区域,会产生一些误识别情况.
5结论
本文研究智能监控技术中人形识别的相关技术,根据人形识别处理的流程阐述人形识别算法处理过程和各步骤中所用的方法,并对系统识别算法进行优化.设计人形识别软硬件平台并选择不同的天气和不同的时间段进行人形识别现场实验.结果表明,整套识别系统能够准确进行运动目标检测、目标定位以及人形目标的匹配与识别,系统的整体效果达到预期的设计要求.
参考文献:
[1]MOON H M, CHAE S H, MOON D, et al. Intelligent video surveillance system using twofactor human information[J]. Telecommunication Systems, 2013, 52(4): 22492257.
[2]赵新华, 郝阳, 刘洋, 等. 红外报警系统设计[J]. 应用科技, 2013, 40(2): 4752.
[3]刘治红, 骆云志. 智能视频监控技术在哨位安全威胁智能识别中的应用[J]. 兵工自动化, 2011, 30(7): 8285.[4]姜夕凯, 苏松志, 李绍滋, 等. 基于单张静态图像的人体行为识别方法综述[J]. 漳州师范学院学报: 自然科学版, 2011, 24(4): 2326.
[5]LI C Y, GUO L J, HU Y C. A new method combining HOG and Kalman filter for videobased human detection and tracking[C]//IEEE Computer Society. Proc 2010 3rd Int Congress on Image and Signal Processing, Yantai, China, 2010: 290293.
[6]吴冬梅, 李俊威, 刘凌志, 等. 基于Zernike不变矩的人形识别研究[J]. 计算机应用与软件, 2013, 30(8): 162165.
[7]胡景荣, 洪昆, 茹华所, 等. 一种基于SVM的人形识别算法[J]. 昆明理工大学学报: 理工版, 2010, 35(5): 7074.
[8]PARCA G, TEIXEIRA P, TEIXEIRA A. Alloptical image processing and compression based on Haar wavelet transform[J]. Applied Optics, 2013, 52(12): 29322939.
[9]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society. Proc 2005 Conf Computer Vision and Pattern Recognition, San Diego, CA, United States, 2005: 886893.
[10]金婷婷, 施朝健. 应用主动轮廓模型在单摄像机监控系统中的运动目标检测与跟踪[J]. 上海海事大学学报, 2007, 28(1): 3235.
[11]张全发, 蒲宝明, 李天然, 等. 基于HOG特征和机器学习的工程车辆检测[J]. 计算机系统应用, 2013, 22(7): 104107.
[12]樊养余, 雷涛, 张辰锐, 等. 基于自适应矢量参数的彩色图像梯度计算方法[J]. 西北工业大学学报, 2012, 30(6): 919925.
[13]于荣, 王国祥, 郑继媛, 等. 基于支持向量机的城市道路交通状态模式识别研究[J]. 交通运输系统工程与信息, 2013, 13(1): 130136.
[14]YANG X Y, YIN H P, CHAI Y. An improved moving target tracking algorithm based on meanshift[J]. J Comput Inform Systems, 2012, 8(1): 3946.
(编辑贾裙平)