基于核稀疏表示的人脸人耳融合识别算法的研究

张明 黄炳家 郑秋梅



关键词: 融合识别; 核稀疏表示; 特征提取; 加权串联融合; 正交匹配追踪算法; 鲁棒性
中图分类号: TN820.4?34; TP391 ? ? ? ? ? ? ? ? ?文献标识码: A ? ? ? ? ? ? ? ? 文章编号: 1004?373X(2019)04?0080?05
Research on fusion recognition of human face and ear based on
kernel?sparse representation
ZHANG Ming, HUANG Bingjia, ZHENG Qiumei
(China University of Petroleum (East China), Qingdao 266580, China)
Abstract: Since the human face and ear fusion recognition algorithm has weak robustness in variations of image illumination, facial expression and shooting angle, the kernel?sparse representation theory is introduced into the human face and ear fusion recognition, and a human face and ear fusion recognition algorithm based on kernel?sparse representation is proposed. The PCA feature extraction algorithm that can effectively reduce sample dimensions is adopted in the algorithm. The feature?level fusion that can not only realize effective compression of redundant information, but also make the best use of the distinguishability of biological features in different modes is selected for the feature fusion level of human faces and ears. The weighted series fusion method is used for the algorithm considering that different modes of biological features may have different contributions to the final recognition. The orthogonal matching pursuit algorithm with fast iteration speed is used to solve the sparse representation coefficient of tested samples in training samples. In comparison with other recognition algorithms, the algorithm has a much better recognition performance, and stronger robustness in variations of human face and ear images.
Keywords: fusion recognition; kernel?sparse representation; feature extraction; weighted series fusion; orthogonal matching pursuit algorithm; robustness0 ?引 ?言
随着信息技术的飞速发展,以生物特征为依据的个人身份识别成为研究热点[1]。目前,单模生物特征识别如人脸、指纹、虹膜等已在部分领域应用,例如火车站验票系统、图书馆门禁系统等。但在一些高安全应用领域,由于单模生物识别在噪声干扰、非普遍性和防欺骗能力等方面有明显的不足,综合多种生物特征的识别技术应运而生[2]。相比单模识别,多模生物识别不仅提高了可靠性,增强了防伪性,同时增加了应用广泛性。因此综合多种生物特征进行身份识别的多模生物识别技术受到广泛关注。
随着压缩感知理论的提出,基于稀疏表示理论的生物特征识别技术成为国内外学者的研究热点,特别是基于稀疏表示的单模生物识别研究相对较多,李懿等人结合模糊集合理论提出一种新的模糊稀疏表示人脸识别算法[3],田莹等人提出一种稀疏表示的多姿态人耳识别方法[4]。这两种方法都是在单模生物特征方面根据稀疏表示方法分别对人脸和人耳进行的识别,识别率和稳定性有了部分提高,但是相对于多模生物识别技术,识别率依旧不够高。而在多模生物识别研究中,袁立等人利用Fisher鉴别分析方法提出基于人脸和人耳的多模态生物特征识别方法[5];Amirthalingam G等人提出一种基于PCA和LLE特征提取的人脸人耳融合识别算法[6]。这两种算法识别率相对于单模的人脸人耳识别有了进一步提高,但是对图像光照变化、表情变化、拍摄角度变化等鲁棒性不强。为解决上述出现的问题,提出基于核稀疏表示的人脸人耳识别算法。将样本特征向量投影到易实现线性可分的高维核空间,在核空间内求解测试样本在过完备字典中的稀疏表示系数,最终通过最小重构残差来实现分类识别。相对于其他人脸人耳识别算法,本文提出的算法具有防伪性高、识别性能强、对人脸人耳图像变化不敏感等优点。
1 ?核稀疏表示原理
基于稀疏表示[7]的识别算法的基本思想是测试样本位可以由其所在类别中训练样本的线性组合来近似表示。然而,当人脸或人耳图像的光照、表情、姿态等变化比较明显时,测试样本极有可能位于由训练样本构成的非线性子空间内。此时,由该测试样本所在类别中的训练样本的线性组合并不能很好地表示该测试样本;采用基于稀疏表示的分类方法并不能取得很好的识别效果。本文将核方法引入非线性映射,将许多非线性问题巧妙地转化为线性问题,它能够高效解决图像空间中的非线性可分问题,其对非线性问题的高效分析能力可与线性问题相媲美。
设有K类训练样本,其中,第i类的训练样本集为[Ai=[ai1,ai2,…,aink]∈Rm×nk],[Ai]共包含[nk]个样本,每个样本向量都属于[Rm]。由所有类别的训练样本共同构成一个过完备字典:[A=[A1,A2,…,Ak]∈Rm×n]。设[φ]为由低维到高维的非线性映射,映射[φ]能将原始数据从样本空间映射到高维核空间[H],把过完备字典矩阵[A]由[φ]映射到高维核空间得到新的过完备字典:
[B=φ(A)=[φ(a1,1),φ(a1,2),…,φ(ak,nk)]] ? ?(1)
同时,将测试样本[y]也用[φ]映射到核空间,[y→φ(y)]。因此可将稀疏表示方程[y=Ax]转化为核空间中的方程[φ(y)=Bα],求解测试样本[φ(y)]在基空间[B]中的稀疏表示系数可转化为[l0]范数上的最优化问题。
[α~=argminα0 s.t. ? ?φ(y)=Bα] (2)
有关理论已经证明s范数上的最优化问题为NP?hard问题,该问题可转化为[l1]范数上的最优化问题进行求解。
[α~=argminα1 s.t. ? ?φ(y)=Bα] (3)
求解稀疏表示系数允许存在一定的误差,则有:[α~=argminα1 s.t. ? Bα-φ(y)2≤θ] ? ? ?(4)
已知存在定理:如果存在[θ≥0],使得不等式成立,则可以找到[δ≥0],使得不等式[BTBα-BTφ(y)2≤δ]成立。
故式(4)可转化为:
[α~=argminα1 s.t. ?BTBα-BTφ(y)2≤δ] ? (5)
设函数[K(x,y)=φ(x)Tφ(y)]为核函数,引入函数[K(x,y)],则有:
[BTB=[φ(a1,1),φ(a1,2),…,φ(ak,nk)]T·[φ(a1,1),…,φ(ak,nk)]][ ?=K(a1,1,a1,1)K(a1,1,a1,2)…K(a1,1,ak,nk)K(a1,2,a1,1)K(a1,2,a1,2)…K(a1,2,ak,nk)????K(ak,nk,a1,1)K(ak,nk,a1,2)…K(ak,nk,ak,nk)] ? ? ? ? ?(6)
[BTφ(y)=[φ(a1,1),φ(a1,2),…,φ(ak,nk)]Tφ(y) ? ? ? ? ? ? ? ?=K(a1,1,y)K(a1,2,y) ? ? ? ?K(ak,nk,y)] (7)
当核函数[K(x,y)]确定,[BTB]和[BTφ(y)]可通过式(6)和式(7)计算得到,则核稀疏表示方程式(5)可以用稀疏表示方程的求解方法进行直接求解。2 ?基于核稀疏表示的人脸人耳融合识别算法
基于核稀疏表示的人脸人耳融合识别算法是在基于稀疏表示算法的基础上引入核方法得到,本文采用的核函数为多项式核函数,其表达式为:[Kx,y=1+xTyd],具体实验时参数d一般取1。
2.1 ?特征提取
稀疏表示理论指出特征提取重要的是特征的数量,只要特征数量大,都可以利用稀疏向量近似精确地重构原始信号。但是,相比于传统的分类识别算法基于稀疏表示的分类识别算法(SRC)计算量更大,为了节省计算耗时,本文使用简单高效的PCA[8]算法进行人脸和人耳的特征提取。
2.2 ?特征融合
本文的人脸人耳融合层次采用特征级融合[9],因为特征级融合既能实现冗余信息的有效压缩,又能充分利用不同模态生物特征的可区分性。同时特征融合方法采用的是串联融合法。因为串联融合法简单高效,更容易扩展到超过两种模态的多模生物融合,并且当一种或多种模态的生物信息无法获取时,串联融合方法更容易调整特征融合模型的数据集,用可获取的生物模态信息来进行识别。考虑到不同模态的生物特征信息对身份识别可能有不同的鉴别能力,故本文在进行特征向量的串联融合时加入了权重系数,以此来充分利用不同模态生物特征信息对身份识别的影响能力。特征融合具体过程如下。
2.2.1 ?特征向量的归一化表示
为了中和不同生物特征向量的量纲效应,使每种模态的生物特征向量都具有同等的表现力,故在特征向量融合之前,需要对人脸、人耳的特征向量进行归一化处理[10]。经过归一化处理后的所有人脸和人耳样本特征向量的均值为0,方差为1。
2.2.2 ?特征向量加权串联融合
设D为人脸人耳测试样本的特征向量融合之后的特征矩阵,[di,j]为D中第i个类别中的第j个样本融合后的特征向量,人脸人耳特征向量的加权融合方法如下:
[di,j=αdfi,jβdei,j , ? i=1,2,…,c; j=1,2,…,m] (8)
式中,[α]和[β]要满足约束条件[α+β=1]。
2.3 ?稀疏表示系数求解
本文的稀疏表示系数的求解算法采用的是正交匹配追踪算法[11]。因为正交匹配追踪算法收敛速度较快、对目标向量的分解较为稀疏。
在获得人脸、人耳特征融合后的训练样本矩阵D,测试样本对应的人脸、人耳特征融合后的向量为z,由正交匹配追踪算法可求得测试向量z在训练样本构成的字典矩阵D上的稀疏表示系数[x],[x]为[n (n=c×m)]维空间中的向量,稀疏表示系数[x]要满足条件[Dx-z22≤φ],其中,[φ]为迭代阈值范围。
2.4 ?分类识别
本文最终的分类识别算法是通过最小残差法[12]分类得到。设[xi(i=1,2,…,m)∈Rn]为稀疏表示系数[x]中第i个类别对应的系数,其余类别对应的系数全为0。故通过稀疏系数[xi]可得到由第i类别训练样本重构的测试样本,[zi=Dxi],其中[zi]为第i类别训练样本重构的测试样本向量。第i类别训练样本的重构残差为[ri=zi-z22],其中重构残差最小的类别即为测试样本所在的类别,故可以判定测试样本z所在的类别为:[identity(z)=mini=1,2,…,cri]。
综上所述,基于核稀疏表示的人脸人耳多模识别算法过程具体如下:
1) 输入:分别包含c个类别的人脸训练样本矩阵[Af=[Af1,Af2,…,Afc]]和人耳训练样本矩阵[Ae=[Ae1,Ae2,…,Aec]],其中[Ai=[ai,1,ai,2,…,ai,m] (i=1,2,…,c)]代表第i个类别的m个测试样本,人脸测试样本为[yf],人耳测试样本为[ye],核函数为[K(x,y)=(1+xTy)]。
2) 对人脸人耳字典样本矩阵分别进行PCA特征提取,[Df=(Pf)TAf],[De=(Pe)TAe],其中[Pf,Pe]分别为人脸人耳的投影观测矩阵。然后,对人脸人耳测试样本进行PCA特征提取,[zf=(Pf)Tyf],[ze=(Pe)Tye]。
3) 将经过特征提取后的训练样本矩阵和测试样本向量分别进行归一化处理,用向量[dfi,j]来代表人脸训练样本中第i个类别的第j个向量,则[dfi,j=(dfi,j-μf)σf],其中[μf]为[Df]中所有列向量的均值向量,[σf]为[Df]中所有列向量的方差向量。同理,用相同方法对经过核映射后的人耳训练矩阵进行归一化处理,[dei,j=(dei,j-μe)σe]。然后,对特征提取后的测试向量进行归一化处理:[zf=(zf-μf)σf],[ze=(ze-μe)σe]。
4) 将经过核映射后的人脸人耳训练样本对应的特征向量矩阵进行加权融合,[di,j=αdfi,jβdei,j ,(i=1,2,…,c;j=1,2,…,m)],同時,将人脸人耳测试样本核向量进行融合,[z=αzfβze]。
5) 根据式(6)分别计算训练样本核映射矩阵[H=(D)TD],其中,[H]表示核映射后的人脸人耳融合样本矩阵。然后根据式(7)计算测试样本向量的核映射向量[u=(D)Tφ(z)]。
6) 用正交匹配追踪OMP算法求解测试样本向量[u]在字典样本矩阵[H]中的稀疏表示系数[x],即用OMP算法求解最小化问题[argminx1,s.t. Hx-u22≤φ],其中[φ]为允许最小的迭代误差。
7)计算每个类别的重构残差[ri=Hxi-u22,i=1,2,…,c],其中向量[xi]表示第i个类别的稀疏表示系数,其他类别的稀疏表示系数为0。
8) 输出[identity(u)=mini=1,2,…,cri]。3 ?实验仿真及分析
本文选用的人脸数据库是英国剑桥大学拍摄制作的ORL标准人脸库。图1为ORL人脸库中的每个类别对象具有丰富的拍摄角度变化、拍摄时间变化、人脸表情变化及不同的脸部细节。本文选用的人耳数据库总共采集30个人的人耳图像,其中每个人包含11张不同的人耳图像,人耳数据库总共图片数为330张。因为人耳生物特征具有刚性特点,人耳图片不会因表情或姿态变化而有所不同,拍摄的人耳库主要包含光照和拍摄角度变化,其中拍摄角度主要包含正面、左面、右面、上面和下面,其角度变化在[5°~15°]范围内。图2展示了人耳库中部分类别的人耳图像。在具体实验时,取ORL人脸库中的前30个类别的人脸图像与人耳库中的30个类别的人耳图像进行搭配实验。其中,每个类别的人脸和人耳图像各选取10张进行实验。
3.1 ?人脸人耳特征融合权重系数对识别率的影响
为了确定最佳的人脸人耳特征融合权重系数[α,β],充分利用不同模态生物特征的辨识能力。本文进行实验来寻求最佳权重系数[α,β],将权重系数[α]从0.1开始以0.1为步长逐步调整到0.9,对应的权重系数[β=1-α],统计每次权重系数对应的识别率。统计结果如图3所示。
从图3可以看出,随着权重系数[α]的增大识别率先增后减,当权重系数[α]为0.3时,识别率达到最大值,此时对应的权重系数[β]为0.7。从权重系数可以看出,人耳生物特征对最终识别结果的影响更大,究其原因,本文实验用的人脸数据库光照、表情和姿态变化更加丰富,而人耳数据库相对人脸数据库来说变化较弱,故人耳生物特征对识别结果具有更大的贡献。因此,在本文的算法中,权重系数[α]定为0.3,权重系数[β]定为0.7。需要注意的是,此系数不是一成不变的,在实际应用中,权重系数应根据应用环境和背景训练产生。
3.2 ?基于核稀疏表示的人脸人耳融合识别与人脸人耳单模识别的比较
实验中分别将人脸和人耳数据库中每个类别的 7张图像用作训练样本,其余3张用作测试样本。在实验前首先对人脸人耳图像进行预处理,人脸图像都统一处理成为100×100像素大小的图像,人耳图像都统一处理成为100×70像素大小的图像,用PCA进行特征提取后,人脸图像和人耳图像分别降为64维,42维特征向量。本文分别在单模生物识别和本文算法识别上进行了实验。其识别结果如表1所示。
从表1中可以看出,本文提出的算法识别率要明显高于人脸或人耳单模生物识别的识别率,这充分说明了多模生物识别技术比单模生物识别技术在识别性能上表现更优。
3.3 ?MKSRC算法与其他人脸人耳融合识别算法对比
从表2可以看出,相比于文献[6]提出的PLR人脸人耳融合识别算法,本文提出的基于核稀疏表示的人脸人耳识别算法在识别性能上表现更优。即使实验用的数据库包含丰富的光照、表情、姿态及拍摄角度变化,本文的算法仍能取得比较满意的识别率,很好地解决了训练样本与测试样本的非线性可分问题。该算法对光照及表情变化等表现出了较强的鲁棒性。4 ?结 ?语
本文将核稀疏表示理论应用于人脸人耳多模融合识别的研究中,提出基于核稀疏表示的人脸人耳融合识别算法。与单模人脸人耳融合识别算法相比,所提算法识别率大大提高,同时与文献[6]提出的PLR识别算法相比,该算法不仅解决了基于稀疏表示的人脸人耳融合识别中的非线性可分问题,对人脸人耳图像光照变化、表情变化、拍摄角度变化等识别表现出了更强的鲁棒性。
参考文献
[1] SCHEIRER W J, WILBER M J, ECKMANN M, et al. Good recognition is non?metric [J]. Pattern recognition, 2015, 47(8): 2721?2731.
[2] 崔言伟.基于人耳和侧面人脸的身份识别[D].北京:北方工业大学,2013.
CUI Yanwei. Human identification based on the ear and profile face [D]. Beijing: North China University of Technology, 2013.
[3] 李懿,刘晓东.一种新的模糊稀疏表示人脸识别算法[J].大连理工大学学报,2017,57(2):189?194.
LI YI, LIU Xiaodong. A new fuzzy sparse representation algorithm for face recognition [J]. Journal of Dalian University of Technology, 2017, 57(2): 189?194.
[4] 田莹,张德斌,马浩迪.一种稀疏表示的多姿态人耳识别方法[J].系统仿真学报,2014,26(9):2126?2129.
TIAN Ying, ZHANG Debin, MA Haodi. Muli?pose ear recognition using sparse [J]. Journal of system simulation, 2014, 26(9): 2126?2129.
[5] 袁立,李文明,穆志纯.人脸人耳多模态生物特征模板保护方法研究[J].仪器仪表学报,2012,33(12):2767?2773.
YUAN Li, LI Wenming, MU Zhichun. Face and ear multimodal biometric template protection [J]. Chinese journal of scientific instrument, 2012, 33(12): 2767?2773.
[6] AMIRTHALINGAM G. Face and ear biometric recognition using PCA and LLE algorithm [J]. International journal of information science and intelligent system, 2014, 3(2): 47?54.
[7] YANG M, ZHANG L. Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary [C]// Proceedings of 11th European Conference on Computer Vision. Berlin: Springer, 2010: 448?461.
[8] BENGIO Y, DELALLEAU O, ROUX N L, et al. Learning eigenfunctions links spectral embedding and kernel PCA [J]. Neural computation, 2014, 16(10): 2197?2219.
[9] 王科俊,阎涛,吕卓纹.基于耦合度量学习的特征级融合方法及在步态识别中的应用[J].东南大学学报(自然科学版),2013,43(z1):7?11.
WANG Kejun, YAN Tao, L? Zhuowen. Feature level fusion method based on the coupled metric learning and its application in gait recognition [J]. Journal of Southeast University (Natural science edition), 2013, 43(S1): 7?11.
[10] ZHANG B, YANG H, YIN Z. A region?based normalized cross correlation algorithm for the vision?based positioning of elongated IC chips [J]. IEEE transactions on semiconductor manufacturing, 2015, 28(3): 345?352.
[11] 孙子璇,易荣华.基于小波变换的正交匹配追踪算法及其应用[J].计算机科学,2012,39(z3):273?275.
SUN Zixuan, YI Ronghua. wavelet transform?based orthorgonal matching pursuit algorithm and its application [J]. Computer science, 2012, 39(S3): 273?275.
[12] SARMADI H, KARAMODIN A, ENTEZAMI A. A new iterative model updating technique based on least squares minimal residual method using measured modal data [J]. Applied mathematical modelling, 2016, 40(23): 10323?10341.