基于边缘方向扩散系数正则化的文本图像超分辨率算法
张红梅
摘 要： 针对文档图像超分辨率重建问题，根据传统双边全变差（BTV）超分辨率算法，提出一种自适应约束的BTV正则化文档图像超分辨率算法。该算法通过引入一个图像的局部邻域残差均值，以区分当前像素点属于平滑区域还是边缘区域，然后利用垂直边缘方向和边缘方向扩散性的不同，产生自适应权重矩阵。最后通过代价函数求出迭代公式，最终实现文本图像的超分辨率重建。与相关的文档图像超分辨率方法相比较，提出的方法在视觉图像质量和字符识别精度方面均得到了显著的改善。
关键词： 文本图像； 超分辨率重建； 正则化； 双边全变差模型； 边缘保持
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）19?0105?04
A text image super?resolution algorithm based on edge direction
diffusion coefficient regularization
ZHANG Hongmei
（School of Mathematics， Baoshan University， Baoshan 678000， China）
Abstract： Aiming at the problem existing in super?resolution reconstruction of document image， a self?adaptively constrained and traditional bilateral total variation （BTV） regularized document image super?resolution algorithm is proposed based on the BTV super?resolution algorithm. In the algorithm， the residual mean of the local neighborhood of an image is introduced to determine whether the current pixel belongs to the smooth region or to the edge region. The different diffusivity of the vertical edge direction and edge direction is utilized to generate the self?adaptive weight matrix. The iteration formula is obtained by using the cost function， and the super?resolution reconstruction of the text image is realized. Compared with related super?resolution methods of document image， the proposed method has improved in visual image quality and character recognition accuracy greatly.
Keywords： text image； super?resolution reconstruction； regularization； bilateral total variation model； edge preservation
0 引 言
图像超分辨率（Super Resolution，SR）重建是指利用算法和仿真技术将一幅或多幅输入的低分辨率（Low Resolution，LR）图像进行处理，然后输出一幅清晰的高分辨率图像（High Resolution，HR）[1]。大多数低分辨率的文档图像存在文字模糊现象，即除了黑色和白色像素之外，图像中还会有大量的灰色像素，容易产生大量错误或缺失的字符。这些低质量的文档图像在打印或显示时不仅字迹模糊，而且也导致光学字符识别（OCR）系统产生严重的问题[2?3]。
现如今，已经提出了很多图像的超分辨率方法[3]。一种成功的文档图像超分辨率算法应该应用这些特征作为先验知识，从输入的低分辨率图像中生成高分辨率的图像[4]。超分辨率方法使用正则项来实现高分辨率图像的先验知识[5?7]。例如，平滑的背景和前景区域是文档图像的先验知识。在贝叶斯图像超分辨率方法中，应用正则项与数据保真项共同生成高分辨率的图像。
文献[8]提出的双边全变差（Bilateral Total Variation，BTV）正则化先验算法和文献[9]提出的全变差（Total Variation，TV）先验算法将各个方向的图像一律平滑处理，同时保留一定的边缘信息，但是由于此类算法均采用相同的平滑系数来处理相同位置上的邻近像素点，所以算法保持边缘的能力较弱。因此，在保持边缘方面也有许多学者进行了研究[10?12]，并取得了很好的效果。
考虑到文档图像的特点，提出一种自适应约束的BTV正则化文档图像超分辨率算法。与相关的文档图像超分辨率方法相比较，本文提出的方法在视觉图像质量和字符识别精度方面均得到了显著的改善。
1 算法原理介绍
基于BTV先验模型的超分辨率重建的代价函数[8]如下所示：
[X=argmink=1NDBFkX-Yk+λl=-ppm=0pαl+mX-SlxSmyX] （1）
[Yk=DBFkX+Nk] （2）
式中：第一项表示输入的低分辨率图像与降质后的低分辨率图像的相似程度；第二项是正则项，即平滑约束项。[λ]为正则化系数；[Slx]和[Smy]分别表示图像在水平和垂直方向平移的像素个数；[p]是像素邻域的阶数，即选取窗口的半径； [α]为权重且是标量，[0<α<1；][D]是下采样矩阵；[B]是系统的模糊矩阵；[Fk]是运动矩阵，可通过运动估计求得；[Nk]是噪声矩阵。由于正则化参数为固定值，会直接限制重建过程中的全局最优解，因此本文针对该局限进行改进。
2 提出的算法
由式（1） 可知，BTV的正則化函数可表示为：
[J（X）=l=-pp m=0pαl+mX-SlxSmyX] （3）
式中：[l，][m]分别表示图像沿[x，y]方向平移的像素个数。设[X（i，j）=X（i，j）-SlxSmyX（i，j）]表示两个像素点之间灰度的绝对差值，0≤[X（i，j）]≤255。
为了对所有像素点进行邻域约束，本文设计了一个滑动窗口，以便求出所有像素点之间的局部邻域差均值：
[LNRM（i，j）=1N2i=i-（N-1）2i+（N-1）/2 j=j-（N-1）/2j+（N-1）/2X（i，j）] （4）
式中：[N]表示滑动窗口长度；[（i，j）]和[（i，j）]均为像素位置的横、纵坐标；[（i，j）]属于以[（i，j）]为中心、大小为[N×N]的邻域。
本文提出的自适应约束权重矩阵设计中，将权重系数设为：
[αi，j=e-1τX（i，j）， LNRM（i，j）>T1， LNRM（i，j）<t]
式中：[T]表示阈值，能够区分主要的边缘区域；[τ]指修饰因子；[LNRM（i，j）]表示像素[X（i，j）]在该邻域内的局部残差均值；[αi，j]表示像素点[SlxSmyX（i，j）]对当前像素点[X（i，j）]的加权系数，0≤[αi，j]≤1。令加权系数矩阵[α]为：
[α=α|l|+|m|1，1，α|l|+|m|1，2，…，α|l|+|m|m，n] （6）
则式（3）可表示为：
[J（X）=l=-pp m=0pαX-SlxSmyX] （7）
2.1 基于自适应的正则化参数
正则化参数直接影响着超分辨率重建的性能，适合的正则化参数不仅能够确保代价函数得到一个全局最优解，还能较好地保留文本图像中字符边缘信息。因此，根据文献[3]的推导，本文设计的自适应选取正则化参数方法为：
[λ=k=1NDBFkX-Ykγ-l=-pp m=0pα（X-SlxSmyX）] （8）
式中[γ]为控制参数，且需要符合如下条件：
[γ>2l=-pp m=0pαX-SlxSmyX] （9）
2.2 代价函数的求解
根据以上分析，代价函数可表示为：
[X=argmink=1NDBFkX-Yk+λl=-pp m=0pαX-SlxSmyX] （10）
对其求导，并采用梯度下降法对其迭代求解，迭代公式为：
[Xn+1=Xn-β?f] （11）
[?f=k=1NFTkBTDTsign（DBFkX-Yk）+ λl=-pp m=0pαTI-S-myS-lxsignX-SlxSmyX] （12）
式中[β]表示迭代步长。
迭代终止条件为：
[Xn+1-XnXn≤10-6] （13）
3 算法步骤
本文提出算法的流程如图1所示。
4 实验与结果分析
为了验证提出的改进BTV正则化超分辨率算法的性能， 将本文算法与另外两种BTV重建算法[12?13]作对比，以便验证提出算法对噪声的抑制能力。实验平台为Windows 7操作系统，CPU为Pentium Dual?Core E5200处理器，2 GB内存，仿真环境为Matlab 7.8。为了对重建结果进行定量评价，采用峰值信噪比（PSNR）衡量算法的去噪性能。PSNR的公式表示为[9]：
[PSNR=10lgL2N1N2i=1N1j=1N2X（i，j）-X（i，j）2] （14）
式中：[N1]和[N2]分别为LR图像像素的行数和列数；[L]表示图像量化的灰度级别；[X（i，j）]和[X（i，j）]分别表示输入图像中的像素点和输出重建图像的像素点。
实验文本图像为两幅文字图像，对原图像添加高斯噪声的方差分别为20，文本图像1参数为12 pt、Arial字体、150 dpi，文本图像2参数为10 pt、Times New Roman字体、75 dpi，对这两幅文本图像分别使用三种超分辨率方法重建，结果如图2，图3所示。
通过图2和图3结果可以看出，本文提出的超分辨率方法在文字的边缘增强和背景的去除噪声方面表现出的性能均优于另外两种方法。通过式（14）计算实验用的2幅文本图像的PSNR值，结果如表1所示。客观指标同样证明了提出的超分辨率算法具有更好的去噪效果。
在迭代过程中，本文算法的时间复杂度相对较高，在运算时间上，经典BTV算法的时间为20 s，文献[12]的方法需要7.2 s，本文提出算法对256×256图像处理时间为29 s。为了验证光学识别性能，利用汉王软件OCR 6.0进行文字识别。采样上述实验用的两幅256×256的文本图像，并添加加性高斯噪声（噪声方差分别为20）作为原图像，结果如表2所示。
实验结果表明，相比现有的BTV算法，本文提出的超分辨率重建算法在保持文本文字的边缘增强和背景噪声的去除方面均表现出较好的性能。5 结 论
在本文中，通过引入一个新的平滑正则项，提出一种自适应约束的BTV正则化文档图像超分辨率算法。采用自适应的正则化参数设计，以获得全局最优解，增强鲁棒性。将提出的算法与其他文档图像的超分辨率方法进行比较，结果发现提出的方法得到的去噪能力更好，字符识别的准确度更高。
参考文献
[1] 任福全，邱天爽，韩军，等.基于二阶广义全变差的多帧图像超分辨率重建[J].电子学报，2015，43（7）：1275?1280.
[2] 何建新，任红萍，曾强宇，等.基于改进全变差的天气雷达回波超分辨率重建[J].计算机仿真，2014，31（7）：415?418.
[3] 李春芳，杨鑫，张旭明，等.基于MAP的超声图像分解去噪算法研究[J].电子学报，2014（7）：1291?1298.
[4] 杨帅锋，赵瑞珍.基于低秩矩阵和字典学习的图像超分辨率重建[J].计算机研究与发展，2016，53（4）：884?891.
[5] ABEDI A， KABIR E. Stroke width?based directional total variation regularisation for document image super resolution [J]. IET image processing， 2016， 10（2）： 158?166.
[6] AYUBI S D， BAJWA U I， ANWAR M W. Super?resolution based enhancement of cardiac MR images [J]. Current medical imaging reviews， 2015， 11（2）： 105?113.
[7] SHI F， CHENG J， WANG L， et al. LRTV： MR image super?resolution with low?rank and total variation regularizations [J]. IEEE transactions on medical imaging， 2015， 34（12）： 2459?2466.
[8] FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE transactions on image processing， 2004， 13（10）： 1327?1344.
[9] RUDIN L I， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Journal of physica D， 1992， 60（1）： 259?268.
[10] JIANG J， MA X， CAI Z， et al. Sparse support regression for image super?resolution [J]. IEEE photonics journal， 2015， 7（5）： 1?11.
[11] JUNG C， KE P， SUN Z， et al. A fast deconvolution?based approach for single?image super?resolution with GPU acceleration [J]. Journal of real?time image processing， 2015（6）： 1?12.
[12] XIE J， FERIS R S， YU S S， et al. Joint super resolution and denoising from a single depth image [J]. IEEE transactions on multimedia， 2015， 17（9）： 1525?1537.
[13] SURYANARAYANA G， DHULI R. Simultaneous edge preserving and noise mitigating image super?resolution algorithm [J]. AEU?international journal of electronics and communications， 2016， 70（4）： 409?415.
摘 要： 针对文档图像超分辨率重建问题，根据传统双边全变差（BTV）超分辨率算法，提出一种自适应约束的BTV正则化文档图像超分辨率算法。该算法通过引入一个图像的局部邻域残差均值，以区分当前像素点属于平滑区域还是边缘区域，然后利用垂直边缘方向和边缘方向扩散性的不同，产生自适应权重矩阵。最后通过代价函数求出迭代公式，最终实现文本图像的超分辨率重建。与相关的文档图像超分辨率方法相比较，提出的方法在视觉图像质量和字符识别精度方面均得到了显著的改善。
关键词： 文本图像； 超分辨率重建； 正则化； 双边全变差模型； 边缘保持
中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2017）19?0105?04
A text image super?resolution algorithm based on edge direction
diffusion coefficient regularization
ZHANG Hongmei
（School of Mathematics， Baoshan University， Baoshan 678000， China）
Abstract： Aiming at the problem existing in super?resolution reconstruction of document image， a self?adaptively constrained and traditional bilateral total variation （BTV） regularized document image super?resolution algorithm is proposed based on the BTV super?resolution algorithm. In the algorithm， the residual mean of the local neighborhood of an image is introduced to determine whether the current pixel belongs to the smooth region or to the edge region. The different diffusivity of the vertical edge direction and edge direction is utilized to generate the self?adaptive weight matrix. The iteration formula is obtained by using the cost function， and the super?resolution reconstruction of the text image is realized. Compared with related super?resolution methods of document image， the proposed method has improved in visual image quality and character recognition accuracy greatly.
Keywords： text image； super?resolution reconstruction； regularization； bilateral total variation model； edge preservation
0 引 言
图像超分辨率（Super Resolution，SR）重建是指利用算法和仿真技术将一幅或多幅输入的低分辨率（Low Resolution，LR）图像进行处理，然后输出一幅清晰的高分辨率图像（High Resolution，HR）[1]。大多数低分辨率的文档图像存在文字模糊现象，即除了黑色和白色像素之外，图像中还会有大量的灰色像素，容易产生大量错误或缺失的字符。这些低质量的文档图像在打印或显示时不仅字迹模糊，而且也导致光学字符识别（OCR）系统产生严重的问题[2?3]。
现如今，已经提出了很多图像的超分辨率方法[3]。一种成功的文档图像超分辨率算法应该应用这些特征作为先验知识，从输入的低分辨率图像中生成高分辨率的图像[4]。超分辨率方法使用正则项来实现高分辨率图像的先验知识[5?7]。例如，平滑的背景和前景区域是文档图像的先验知识。在贝叶斯图像超分辨率方法中，应用正则项与数据保真项共同生成高分辨率的图像。
文献[8]提出的双边全变差（Bilateral Total Variation，BTV）正则化先验算法和文献[9]提出的全变差（Total Variation，TV）先验算法将各个方向的图像一律平滑处理，同时保留一定的边缘信息，但是由于此类算法均采用相同的平滑系数来处理相同位置上的邻近像素点，所以算法保持边缘的能力较弱。因此，在保持边缘方面也有许多学者进行了研究[10?12]，并取得了很好的效果。
考虑到文档图像的特点，提出一种自适应约束的BTV正则化文档图像超分辨率算法。与相关的文档图像超分辨率方法相比较，本文提出的方法在视觉图像质量和字符识别精度方面均得到了显著的改善。
1 算法原理介绍
基于BTV先验模型的超分辨率重建的代价函数[8]如下所示：
[X=argmink=1NDBFkX-Yk+λl=-ppm=0pαl+mX-SlxSmyX] （1）
[Yk=DBFkX+Nk] （2）
式中：第一项表示输入的低分辨率图像与降质后的低分辨率图像的相似程度；第二项是正则项，即平滑约束项。[λ]为正则化系数；[Slx]和[Smy]分别表示图像在水平和垂直方向平移的像素个数；[p]是像素邻域的阶数，即选取窗口的半径； [α]为权重且是标量，[0<α<1；][D]是下采样矩阵；[B]是系统的模糊矩阵；[Fk]是运动矩阵，可通过运动估计求得；[Nk]是噪声矩阵。由于正则化参数为固定值，会直接限制重建过程中的全局最优解，因此本文针对该局限进行改进。
2 提出的算法
由式（1） 可知，BTV的正則化函数可表示为：
[J（X）=l=-pp m=0pαl+mX-SlxSmyX] （3）
式中：[l，][m]分别表示图像沿[x，y]方向平移的像素个数。设[X（i，j）=X（i，j）-SlxSmyX（i，j）]表示两个像素点之间灰度的绝对差值，0≤[X（i，j）]≤255。
为了对所有像素点进行邻域约束，本文设计了一个滑动窗口，以便求出所有像素点之间的局部邻域差均值：
[LNRM（i，j）=1N2i=i-（N-1）2i+（N-1）/2 j=j-（N-1）/2j+（N-1）/2X（i，j）] （4）
式中：[N]表示滑动窗口长度；[（i，j）]和[（i，j）]均为像素位置的横、纵坐标；[（i，j）]属于以[（i，j）]为中心、大小为[N×N]的邻域。
本文提出的自适应约束权重矩阵设计中，将权重系数设为：
[αi，j=e-1τX（i，j）， LNRM（i，j）>T1， LNRM（i，j）<t]
式中：[T]表示阈值，能够区分主要的边缘区域；[τ]指修饰因子；[LNRM（i，j）]表示像素[X（i，j）]在该邻域内的局部残差均值；[αi，j]表示像素点[SlxSmyX（i，j）]对当前像素点[X（i，j）]的加权系数，0≤[αi，j]≤1。令加权系数矩阵[α]为：
[α=α|l|+|m|1，1，α|l|+|m|1，2，…，α|l|+|m|m，n] （6）
则式（3）可表示为：
[J（X）=l=-pp m=0pαX-SlxSmyX] （7）
2.1 基于自适应的正则化参数
正则化参数直接影响着超分辨率重建的性能，适合的正则化参数不仅能够确保代价函数得到一个全局最优解，还能较好地保留文本图像中字符边缘信息。因此，根据文献[3]的推导，本文设计的自适应选取正则化参数方法为：
[λ=k=1NDBFkX-Ykγ-l=-pp m=0pα（X-SlxSmyX）] （8）
式中[γ]为控制参数，且需要符合如下条件：
[γ>2l=-pp m=0pαX-SlxSmyX] （9）
2.2 代价函数的求解
根据以上分析，代价函数可表示为：
[X=argmink=1NDBFkX-Yk+λl=-pp m=0pαX-SlxSmyX] （10）
对其求导，并采用梯度下降法对其迭代求解，迭代公式为：
[Xn+1=Xn-β?f] （11）
[?f=k=1NFTkBTDTsign（DBFkX-Yk）+ λl=-pp m=0pαTI-S-myS-lxsignX-SlxSmyX] （12）
式中[β]表示迭代步长。
迭代终止条件为：
[Xn+1-XnXn≤10-6] （13）
3 算法步骤
本文提出算法的流程如图1所示。
4 实验与结果分析
为了验证提出的改进BTV正则化超分辨率算法的性能， 将本文算法与另外两种BTV重建算法[12?13]作对比，以便验证提出算法对噪声的抑制能力。实验平台为Windows 7操作系统，CPU为Pentium Dual?Core E5200处理器，2 GB内存，仿真环境为Matlab 7.8。为了对重建结果进行定量评价，采用峰值信噪比（PSNR）衡量算法的去噪性能。PSNR的公式表示为[9]：
[PSNR=10lgL2N1N2i=1N1j=1N2X（i，j）-X（i，j）2] （14）
式中：[N1]和[N2]分别为LR图像像素的行数和列数；[L]表示图像量化的灰度级别；[X（i，j）]和[X（i，j）]分别表示输入图像中的像素点和输出重建图像的像素点。
实验文本图像为两幅文字图像，对原图像添加高斯噪声的方差分别为20，文本图像1参数为12 pt、Arial字体、150 dpi，文本图像2参数为10 pt、Times New Roman字体、75 dpi，对这两幅文本图像分别使用三种超分辨率方法重建，结果如图2，图3所示。
通过图2和图3结果可以看出，本文提出的超分辨率方法在文字的边缘增强和背景的去除噪声方面表现出的性能均优于另外两种方法。通过式（14）计算实验用的2幅文本图像的PSNR值，结果如表1所示。客观指标同样证明了提出的超分辨率算法具有更好的去噪效果。
在迭代过程中，本文算法的时间复杂度相对较高，在运算时间上，经典BTV算法的时间为20 s，文献[12]的方法需要7.2 s，本文提出算法对256×256图像处理时间为29 s。为了验证光学识别性能，利用汉王软件OCR 6.0进行文字识别。采样上述实验用的两幅256×256的文本图像，并添加加性高斯噪声（噪声方差分别为20）作为原图像，结果如表2所示。
实验结果表明，相比现有的BTV算法，本文提出的超分辨率重建算法在保持文本文字的边缘增强和背景噪声的去除方面均表现出较好的性能。5 结 论
在本文中，通过引入一个新的平滑正则项，提出一种自适应约束的BTV正则化文档图像超分辨率算法。采用自适应的正则化参数设计，以获得全局最优解，增强鲁棒性。将提出的算法与其他文档图像的超分辨率方法进行比较，结果发现提出的方法得到的去噪能力更好，字符识别的准确度更高。
参考文献
[1] 任福全，邱天爽，韩军，等.基于二阶广义全变差的多帧图像超分辨率重建[J].电子学报，2015，43（7）：1275?1280.
[2] 何建新，任红萍，曾强宇，等.基于改进全变差的天气雷达回波超分辨率重建[J].计算机仿真，2014，31（7）：415?418.
[3] 李春芳，杨鑫，张旭明，等.基于MAP的超声图像分解去噪算法研究[J].电子学报，2014（7）：1291?1298.
[4] 杨帅锋，赵瑞珍.基于低秩矩阵和字典学习的图像超分辨率重建[J].计算机研究与发展，2016，53（4）：884?891.
[5] ABEDI A， KABIR E. Stroke width?based directional total variation regularisation for document image super resolution [J]. IET image processing， 2016， 10（2）： 158?166.
[6] AYUBI S D， BAJWA U I， ANWAR M W. Super?resolution based enhancement of cardiac MR images [J]. Current medical imaging reviews， 2015， 11（2）： 105?113.
[7] SHI F， CHENG J， WANG L， et al. LRTV： MR image super?resolution with low?rank and total variation regularizations [J]. IEEE transactions on medical imaging， 2015， 34（12）： 2459?2466.
[8] FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE transactions on image processing， 2004， 13（10）： 1327?1344.
[9] RUDIN L I， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Journal of physica D， 1992， 60（1）： 259?268.
[10] JIANG J， MA X， CAI Z， et al. Sparse support regression for image super?resolution [J]. IEEE photonics journal， 2015， 7（5）： 1?11.
[11] JUNG C， KE P， SUN Z， et al. A fast deconvolution?based approach for single?image super?resolution with GPU acceleration [J]. Journal of real?time image processing， 2015（6）： 1?12.
[12] XIE J， FERIS R S， YU S S， et al. Joint super resolution and denoising from a single depth image [J]. IEEE transactions on multimedia， 2015， 17（9）： 1525?1537.
[13] SURYANARAYANA G， DHULI R. Simultaneous edge preserving and noise mitigating image super?resolution algorithm [J]. AEU?international journal of electronics and communications， 2016， 70（4）： 409?415.
