航空图像超分辨率重构技术
李新芳
摘 要： 为了过滤掉航空图像中的模糊因素，获取高质量的航空图像，提出基于先验信息的航空图像超分辨率重构方法，采用基于互信息的航空序列图像配准方法完成航空图像的配准，通过最大信息熵复原方法对配准后的图像序列进行去模糊处理，获取航空图像序列。利用小波变换方法使得图像序列内存在的冗余信息以及互补信息融合至一帧图像中，通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。实验结果说明，所提方法重构出的航空图像更为清晰，具有较低的信噪比和较高的重构效率。
关键词： 航空图像； 超分辨率； 重构； 仿真实验
中图分类号： TN911.73?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2017）15?0017?04
Abstract： In order to filter out the fuzzy factor in the aviation image， obtain the aviation image with high quality， a priori information based super?resolution reconstruction method of aviation image is proposed. A mutual information based registration method of aviation sequence image is used to match the aviation image. The maximum information entropy recovery method is adopted to deblur the matched image sequence to acquire the aviation image sequence. The wavelet transform method is employed to fuse the redundant information and complementary information existing in image sequence into the image with one frame. The O?MOMS interpolation algorithm is used to perform the interpolation and reconstruction for the single?frame aviation image to obtain the high?resolution aviation image. The experimental results indicate that the aviation image reconstructed with the proposed method is clear， has low signal?to?noise ratio and high reconstruction efficiency.
Keywords： aviation image； super?resolution； reconstruction； simulation experiment
0 引 言
随着航空技术的快速发展，航空成像技术在探测、建筑、军事等领域具有广泛的应用价值[1]。航空图像受到光线、飞机运动、空气等因素的干扰，使得图像清晰度降低。因此，研究航空图像超分辨率重构技术具有重要的应用价值。
为了过滤掉航空图像中的模糊因素，获取高质量的航空图像。提出基于先验信息的航空图像超分辨率重构方法，采用基于互信息的航空序列图像配准方法完成航空图像的配准，通过最大信息熵复原方法对配准后的图像序列進行去模糊处理，获取航空图像序列。利用小波变换方法使得图像序列内存在的冗余信息以及互补信息融合至一帧图像中，通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。实验结果说明，所提方法重构出的航空图像更为清晰，具有较低的信噪比和较高的重构效率。
1 基于先验信息的航空图像超分辨率重构技术
1.1 航空图像的观测模型
拍摄航空图像的过程中会出现变形和模糊问题。模糊包括光学模糊和运动模糊两种情况。设置航空图像观测模型如下：
（1）
式中：是第帧图像矩阵基于列串接而成的向量，大小是是理想图像矩阵基于列串接而成的向量，大小为是大小为的变形矩阵；是大小为的模糊矩阵；是大小为的采样矩阵；是大小为的噪声矩阵。
式（1）描述的是航空图像超分辨率重构观测模型，按照采集的多帧低分辨率图像塑造降质模型[2]，分析图像先验信息，同时采用合理的恢复算法重构理想的航空图像超高分辨率图像。
1.2 技术的基本原理
航空图像的超分辨率重构运算量巨大，航空图像尺寸的增加以及运算量的增长具有指数关系。采用基于先验信息的航空图像超分辨率重构方法降低图像重构运算量。其由航空图像配准、图像复原、图像融合以及图像插值重构几部分组成。
1.2.1 简化的航空图像观测模型
航空图像序列中不同帧间存在模糊线性关系，观测模型（1）内的模糊矩阵以及变形矩阵都是Toeplitz循环阵。采用循环阵的非奇异矩阵对循环阵进行对角化处理，可降低循环阵的计算量[3]。航空序列图像帧大小相同，不同帧图像的采样也相同，则有导致下采样矩阵不是方阵，不能实施对角化操作，需要对航空图像观测模型进行简化操作[4]，则获取的简化航空图像观测模型为：
1.2.2 图像配准和复原
图像配准过程需要采集式（2）中的变形矩阵采用互信息匹配算法完成航空序列图像的配准，提高图像匹配准确度。通过互信息配准算法得到变形矩阵后，因为图像配准和图像重构是相关独立的过程，为了便于分析可不考虑变形矩阵，此时减低航空图像质量的关键因素是模糊，并存在加性噪声的干扰，算法需要对航空图像进行复原、融合和插值重构。
航空图像复原是一个病态求逆的过程，需要基于图像的先验信息，将航空图像超分辨图像的重构从不适定问题变换成适定化[5]，也就是求最小代价函数的优化过程，是一种有约束的图像复原方法。本文采用最大信息熵法对航空图像进行复原，得到高信噪比的航空图像序列。
1.3 小波变换的序列图像融合方法
图像融合方法将图像复原获取的图像序列内包含的冗余信息以及互补信息融合至同帧图像，增强航空图像的分辨率[6?7]，不同的小波基能够形成差异的滤波效果。采用基于小波变换的航空序列图像融合算法的过程如下：
（1） 通过二维小波变换的Mallat算法对航空图像 A，B实施小波分解，设置航空图像A，B的行以及列作用的低通算子分别是和图像A，B的行以及列上的高通算子分别是和因此，在尺度上的图像A以及B的分解公式为：
1.3.1 O?MOMS插值算法的图像重构
因为没有对航空图像观测模型（1）内的下采样矩阵进行分析，使得式（2）内的矩阵不可对角化，增加了图像重构的运算量[8]。因此，完成航空图像融合后，应采用含有权值因子的O?MOMS插值算法对简化的航空图像观测模型进行插值重构。
为了预测在航空图像像素点处的中间像素值，应已知它的领域像素值和距离一维等间隔抽样航空图像序列像素值能够通过插值函数预测航空图像的中间像素值，获取的插值公式为：
式中：是插值基函数；和分别是连续以及离散的空间距离；是插值系数。
依据采样原理，如果是有限带宽函数，其带通是[-π，π]，则有：
式（9）是理想插值，可通過理想抽样函数sinc重构，但是函数sinc具有不可实现性。因此，需要采用B样条近似函数替代sinc函数，完成准确的重构。
B样条函数是线性分段的多项式，是通过自由基函数卷积获取的，表达式为：
式中：是样条函数阶数，如果值为零，则可获取简单的插值基函数，即最近邻插值基函数。
设置同及间的距离：
O?MOMS插值基函数可实现最佳插值，三次O?MOMS插值基函数为：
三次O?MOMS插值基函数是一种逼近函数，需要再插值前通过数字滤波器获取插值系数，将式（11）和式（12）融入式（10）获取三次O?MOMS插值公式为：
采用式（13）描述的O?MOMS插值公式对图像融合后的单帧图像进行插值重构，获取高分辨率的航空图像。
1.3.2 航空图像超分辨率重构的具体方案
本文提出的基于先验信息的航空图像超分辨率重构技术方案，如图1所示。
（1） 图像配准是航空序列图像超分辨重构的前提，采用基于互信息的航空序列图像配准方法，在无先验图像的条件下，完成航空图像的自主配准，增强图像匹配的准确度。
（2） 通过最大信息熵复原方法对配准后的图像序列进行去模糊操作，获取高信噪比的航空图像序列。
（3） 采用小波变换方法对图像序列内的冗余信息以及互补信息进行融合处理，确保这些信息融合到一帧图像中。
（4） 通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。
2 实验结果与分析
采用两组低分辨率模拟航空图像序列进行实验。降低航空图像质量的关键因素是光学模糊，实验采用高斯卷积函数将某256×256大小的航空图像下采样成128×128大小的低分辨率图像，如图2所示。实验采用运动序列同原始清晰图像卷积[9]获取运动模糊图像，如图3所示。
将信噪比当成图像重构的评估指标[5]。图4是光学模糊超分辨率重构图像，图5是运动模糊超分辨率重构图像。
从两种方法对航空图像的光学模糊超分辨率重构结果可以看出，两种方法重构图像差异不高，但是对比方法较为复杂，重构效率低，本文方法重构效率高，结果见表1。
从两种方法对航空图像的运动模糊超分辨率重构结果可以看出，本文方法重构出的航空图像最佳，重构效率也较高，而对比方法重构出的航空图像质量较差，图像边缘以及细节粗糙，数据见表2。说明本文方法过滤运动模糊效果佳，获取的航空图像超分辨率重构图像更为清晰。
3 结 语
本文提出基于先验信息的航空图像超分辨率重构方法，该种方法的关键是去模糊。通过实验验证了所提方法重构出的航空图像更为清晰。
参考文献
[1] 何林阳，刘晶红，李刚.基于多相组重建的航空图像超分辨率算法[J].物理学报，2015，64（11）：168?175.
[2] 高志荣，蓝雯飞.一种基于神经网络的人脸图像超分辨率重构算法[J].中南民族大学学报（自然科学版），2016，35（1）：114?118.
[3] 王宏，卢芳芳，李建武.结合支持向量回归和图像自相似的单幅图像超分辨率算法[J].中国图象图形学报，2016，21（8）：986?992.
[4] 王金亮，曾浩，王艳英，等.基于小波分析的TM遥感图像超分辨率重建[J].遥感技术与应用，2016，31（3）：476?480.
[5] 刘世瑛，黄峰，刘秉琦，等.复眼图像超分辨率重构中配准算法研究进展[J].激光与红外，2015，45（10）：1164?1170.
[6] 叶宗民，周亚凡，李永新.基于VPM6467的红外视频超分辨率重构设计[J].舰船科学技术，2015，37（7）：83?87.
[7] 俞文静，张明军，王影.基于背景擦除的视频监控图像超分辨率重建[J].计算机与数字工程，2016，44（4）：730?734.
[8] 胡江涛，黄峰，张雏，等.超分辨率重构复眼成像技术的研究进展[J].激光技术，2015，39（4）：492?496.
[9] 穆绍硕，张叶，贾平.一种改进Papoulis?Gerchberg的多幅超分辨重构方法[J].哈尔滨工业大学学报，2015，47（10）：118?123.
摘 要： 为了过滤掉航空图像中的模糊因素，获取高质量的航空图像，提出基于先验信息的航空图像超分辨率重构方法，采用基于互信息的航空序列图像配准方法完成航空图像的配准，通过最大信息熵复原方法对配准后的图像序列进行去模糊处理，获取航空图像序列。利用小波变换方法使得图像序列内存在的冗余信息以及互补信息融合至一帧图像中，通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。实验结果说明，所提方法重构出的航空图像更为清晰，具有较低的信噪比和较高的重构效率。
关键词： 航空图像； 超分辨率； 重构； 仿真实验
中图分类号： TN911.73?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2017）15?0017?04
Abstract： In order to filter out the fuzzy factor in the aviation image， obtain the aviation image with high quality， a priori information based super?resolution reconstruction method of aviation image is proposed. A mutual information based registration method of aviation sequence image is used to match the aviation image. The maximum information entropy recovery method is adopted to deblur the matched image sequence to acquire the aviation image sequence. The wavelet transform method is employed to fuse the redundant information and complementary information existing in image sequence into the image with one frame. The O?MOMS interpolation algorithm is used to perform the interpolation and reconstruction for the single?frame aviation image to obtain the high?resolution aviation image. The experimental results indicate that the aviation image reconstructed with the proposed method is clear， has low signal?to?noise ratio and high reconstruction efficiency.
Keywords： aviation image； super?resolution； reconstruction； simulation experiment
0 引 言
随着航空技术的快速发展，航空成像技术在探测、建筑、军事等领域具有广泛的应用价值[1]。航空图像受到光线、飞机运动、空气等因素的干扰，使得图像清晰度降低。因此，研究航空图像超分辨率重构技术具有重要的应用价值。
为了过滤掉航空图像中的模糊因素，获取高质量的航空图像。提出基于先验信息的航空图像超分辨率重构方法，采用基于互信息的航空序列图像配准方法完成航空图像的配准，通过最大信息熵复原方法对配准后的图像序列進行去模糊处理，获取航空图像序列。利用小波变换方法使得图像序列内存在的冗余信息以及互补信息融合至一帧图像中，通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。实验结果说明，所提方法重构出的航空图像更为清晰，具有较低的信噪比和较高的重构效率。
1 基于先验信息的航空图像超分辨率重构技术
1.1 航空图像的观测模型
拍摄航空图像的过程中会出现变形和模糊问题。模糊包括光学模糊和运动模糊两种情况。设置航空图像观测模型如下：
（1）
式中：是第帧图像矩阵基于列串接而成的向量，大小是是理想图像矩阵基于列串接而成的向量，大小为是大小为的变形矩阵；是大小为的模糊矩阵；是大小为的采样矩阵；是大小为的噪声矩阵。
式（1）描述的是航空图像超分辨率重构观测模型，按照采集的多帧低分辨率图像塑造降质模型[2]，分析图像先验信息，同时采用合理的恢复算法重构理想的航空图像超高分辨率图像。
1.2 技术的基本原理
航空图像的超分辨率重构运算量巨大，航空图像尺寸的增加以及运算量的增长具有指数关系。采用基于先验信息的航空图像超分辨率重构方法降低图像重构运算量。其由航空图像配准、图像复原、图像融合以及图像插值重构几部分组成。
1.2.1 简化的航空图像观测模型
航空图像序列中不同帧间存在模糊线性关系，观测模型（1）内的模糊矩阵以及变形矩阵都是Toeplitz循环阵。采用循环阵的非奇异矩阵对循环阵进行对角化处理，可降低循环阵的计算量[3]。航空序列图像帧大小相同，不同帧图像的采样也相同，则有导致下采样矩阵不是方阵，不能实施对角化操作，需要对航空图像观测模型进行简化操作[4]，则获取的简化航空图像观测模型为：
1.2.2 图像配准和复原
图像配准过程需要采集式（2）中的变形矩阵采用互信息匹配算法完成航空序列图像的配准，提高图像匹配准确度。通过互信息配准算法得到变形矩阵后，因为图像配准和图像重构是相关独立的过程，为了便于分析可不考虑变形矩阵，此时减低航空图像质量的关键因素是模糊，并存在加性噪声的干扰，算法需要对航空图像进行复原、融合和插值重构。
航空图像复原是一个病态求逆的过程，需要基于图像的先验信息，将航空图像超分辨图像的重构从不适定问题变换成适定化[5]，也就是求最小代价函数的优化过程，是一种有约束的图像复原方法。本文采用最大信息熵法对航空图像进行复原，得到高信噪比的航空图像序列。
1.3 小波变换的序列图像融合方法
图像融合方法将图像复原获取的图像序列内包含的冗余信息以及互补信息融合至同帧图像，增强航空图像的分辨率[6?7]，不同的小波基能够形成差异的滤波效果。采用基于小波变换的航空序列图像融合算法的过程如下：
（1） 通过二维小波变换的Mallat算法对航空图像 A，B实施小波分解，设置航空图像A，B的行以及列作用的低通算子分别是和图像A，B的行以及列上的高通算子分别是和因此，在尺度上的图像A以及B的分解公式为：
1.3.1 O?MOMS插值算法的图像重构
因为没有对航空图像观测模型（1）内的下采样矩阵进行分析，使得式（2）内的矩阵不可对角化，增加了图像重构的运算量[8]。因此，完成航空图像融合后，应采用含有权值因子的O?MOMS插值算法对简化的航空图像观测模型进行插值重构。
为了预测在航空图像像素点处的中间像素值，应已知它的领域像素值和距离一维等间隔抽样航空图像序列像素值能够通过插值函数预测航空图像的中间像素值，获取的插值公式为：
式中：是插值基函数；和分别是连续以及离散的空间距离；是插值系数。
依据采样原理，如果是有限带宽函数，其带通是[-π，π]，则有：
式（9）是理想插值，可通過理想抽样函数sinc重构，但是函数sinc具有不可实现性。因此，需要采用B样条近似函数替代sinc函数，完成准确的重构。
B样条函数是线性分段的多项式，是通过自由基函数卷积获取的，表达式为：
式中：是样条函数阶数，如果值为零，则可获取简单的插值基函数，即最近邻插值基函数。
设置同及间的距离：
O?MOMS插值基函数可实现最佳插值，三次O?MOMS插值基函数为：
三次O?MOMS插值基函数是一种逼近函数，需要再插值前通过数字滤波器获取插值系数，将式（11）和式（12）融入式（10）获取三次O?MOMS插值公式为：
采用式（13）描述的O?MOMS插值公式对图像融合后的单帧图像进行插值重构，获取高分辨率的航空图像。
1.3.2 航空图像超分辨率重构的具体方案
本文提出的基于先验信息的航空图像超分辨率重构技术方案，如图1所示。
（1） 图像配准是航空序列图像超分辨重构的前提，采用基于互信息的航空序列图像配准方法，在无先验图像的条件下，完成航空图像的自主配准，增强图像匹配的准确度。
（2） 通过最大信息熵复原方法对配准后的图像序列进行去模糊操作，获取高信噪比的航空图像序列。
（3） 采用小波变换方法对图像序列内的冗余信息以及互补信息进行融合处理，确保这些信息融合到一帧图像中。
（4） 通过O?MOMS插值算法对融合后的单帧航空图像进行插值重构，获取高分辨率的航空图像。
2 实验结果与分析
采用两组低分辨率模拟航空图像序列进行实验。降低航空图像质量的关键因素是光学模糊，实验采用高斯卷积函数将某256×256大小的航空图像下采样成128×128大小的低分辨率图像，如图2所示。实验采用运动序列同原始清晰图像卷积[9]获取运动模糊图像，如图3所示。
将信噪比当成图像重构的评估指标[5]。图4是光学模糊超分辨率重构图像，图5是运动模糊超分辨率重构图像。
从两种方法对航空图像的光学模糊超分辨率重构结果可以看出，两种方法重构图像差异不高，但是对比方法较为复杂，重构效率低，本文方法重构效率高，结果见表1。
从两种方法对航空图像的运动模糊超分辨率重构结果可以看出，本文方法重构出的航空图像最佳，重构效率也较高，而对比方法重构出的航空图像质量较差，图像边缘以及细节粗糙，数据见表2。说明本文方法过滤运动模糊效果佳，获取的航空图像超分辨率重构图像更为清晰。
3 结 语
本文提出基于先验信息的航空图像超分辨率重构方法，该种方法的关键是去模糊。通过实验验证了所提方法重构出的航空图像更为清晰。
参考文献
[1] 何林阳，刘晶红，李刚.基于多相组重建的航空图像超分辨率算法[J].物理学报，2015，64（11）：168?175.
[2] 高志荣，蓝雯飞.一种基于神经网络的人脸图像超分辨率重构算法[J].中南民族大学学报（自然科学版），2016，35（1）：114?118.
[3] 王宏，卢芳芳，李建武.结合支持向量回归和图像自相似的单幅图像超分辨率算法[J].中国图象图形学报，2016，21（8）：986?992.
[4] 王金亮，曾浩，王艳英，等.基于小波分析的TM遥感图像超分辨率重建[J].遥感技术与应用，2016，31（3）：476?480.
[5] 刘世瑛，黄峰，刘秉琦，等.复眼图像超分辨率重构中配准算法研究进展[J].激光与红外，2015，45（10）：1164?1170.
[6] 叶宗民，周亚凡，李永新.基于VPM6467的红外视频超分辨率重构设计[J].舰船科学技术，2015，37（7）：83?87.
[7] 俞文静，张明军，王影.基于背景擦除的视频监控图像超分辨率重建[J].计算机与数字工程，2016，44（4）：730?734.
[8] 胡江涛，黄峰，张雏，等.超分辨率重构复眼成像技术的研究进展[J].激光技术，2015，39（4）：492?496.
[9] 穆绍硕，张叶，贾平.一种改进Papoulis?Gerchberg的多幅超分辨重构方法[J].哈尔滨工业大学学报，2015，47（10）：118?123.
