随着煤炭开采向深部延伸，以智能、无人、安全开采为核心的煤炭精准开采理论得到专家和学者的关注[1]。其中，高清晰度和低延时的开采场景真实重现，已经成为了无人工作面智能化开采中面临的重要问题。但由于煤矿井下粉尘、光照不均匀等环境因素，以及视频设备本身条件限制，极大地影响了井下实时场景的展现和预警效果，并阻碍了对监控视频信息进行有效利用和挖掘[2-3]。

随着图像处理技术的飞速发展和广泛应用，图像超分辨率重建技术也迅速被广泛应用在地理信息、视频监控和物体识别等领域中。在获取图像的过程中，由于硬件设备(成像系统和存储空间)和环境本身所具有的局限性，导致无法获得高质量的图像。而若想提高获取图像的分辨率，提升硬件性能的成本太高，所以从低成本的软件着手来提高图像分辨率的超分辨率技术也逐渐成为各专业领域的更好选择[4]。

目前，超分辨率图像重建方法主要可以分为三类，分别是插值法[5]、重建法[6]和学习法[7]。其中，基于学习的方法在图像超分辨率重建中取得更好的效果。YANG等提出利用稀疏编码进行图像超分辨重建的方法，该方法首先对高低分辨率图像样本库进行联合训练，获得高低分辨率图像所对应的冗余字典对，再求解待重建低分辨率块在低分辨率字典下的稀疏系数，然后利用高分辨率字典进行重建，最终获得高分辨率图像块[8-9]。ZEYDE等对YANG的方法进行改进，字典学习中采用K次奇异值分解算法，稀疏编码阶段采用正交匹配追踪算法，从而在重建速度和重建效果上有所提高[10]。DONG等提出稀疏表示框架下非局部自回归模型，即通过聚类方法学习多字典，引入回归模型和非局部约束[11]。

虽然上述方法重建效果不错，但是由于只学习了单一的冗余字典，忽略了图像块之间的纹理差异，从而具有不稳定性和编码效率低下的缺点[12]，不适合对低照明度和弱边缘的矿井图像进行高分辨重建。针对该问题，笔者在DONG的基础上提出了边缘融合的多字典超分辨率图像重建算法。该算法根据图像块的梯度统计信息对预处理后的低分辨率图像进行分类，再分别对不同类的图像块训练不同的高低分辨率字典库，利用所训练的字典库进行图像重建。为了提高重建图像的边缘效果，预处理阶段低分辨率图像与提取的边缘进行融合增强低分辨率图像的边缘特征;字典重建的高分辨率图像，先求取不同方向的边缘信息并利用图像样本库学习边缘误差的先验知识，再利用学习的先验知识将用于误差修正的边缘信息和重建图像进行融合获得最终的高分辨率图像。实验结果表明，本文算法对于弱边缘和不规则边缘的矿井下图像重建过程中出现的振铃效应和重影现象具有很好的抑制作用，与上述方法相比，重建结果图像的PSNR均有所提高。

1 超分辨率图像重建模型

1.1 字典学习的超分辨率图像重建模型

超分辨率图像重建就是通过已知的低分辨率图像来获取其对应的高分辨率图像，这是一个病态问题，数学模型[8]为

X=SHY

(1)

式中，X为退化后的图像;S表示下采样;H表示模糊处理;Y代表原始的高分辨率图像。

按照图像稀疏表示理论，在过完备字典下，图像总存在稀疏表示。假设D为字典，x为图像块，则x的稀疏表示为

min‖α‖0 s.t. x=Dα

(2)

式中,α是x的稀疏表示系数。

由于这是一个NP难问题，通常是对其求近似解。根据文献[12-13]可知，l1 范数问题可以对l0 范数问题进行近似求解，转化为凸优化问题，转化公式为

(3)

在文献[8]中，通常需要学习两个字典{DL,DH}，DL为低分辨率图像字典，DH为高分辨率图像字典。假设高低分辨率图像的稀疏表示相同，利用DL求解低分辨率图像块的稀疏表示系数α，在结合DH求解对应的高分辨率图像块y=DH·α。

1.2 本文算法模型

本文提出了一种边缘融合的多字典超分辨率图像重建方法，考虑到矿井图像低照明度和边缘模糊的特征，在预处理阶段和重建后对图像进行适当的边缘融合处理;对于纹理不同的图像块学习单一字典会失去部分细节信息，本文采用对不同纹理的图像块进行分类，学习更具针对性的字典，从而保证重建的图像块更准确。本文方法的主要思想如下:首先低分辨率图像预处理阶段进行图像融合，即利用sobel算子提取低分辨图像边缘信息，通过插值放大，对边缘图像进行适当的腐蚀，再将边缘图像信息和插值放大后的低分辨率图像进行融合;第2步将图像块根据梯度统计信息进行分类，梯度统计量主要采用梯度和相干性两个参数，学习不同类图像块的高低分辨率字典样本库待重建图像块通过选择合适的字典库进行重建并融合获得完整的高分辨率图像;最后利用学习的边缘修正信息对字典重建的图像进行边缘融合。本文算法模型如图1所示。

2 多字典学习的超分辨率重建算法

2.1 图像纹理信息特征和图像块的分类

图像的纹理特征主要通过图像梯度的方向(direction)、强度(strength)和相干性(coherence)三个参数来表示[14]。图像梯度的方向能够反映边缘的角度(0°～180°)，图像梯度的强度可以反映图像边缘的锐利程度，图像梯度的相干性将边缘方向性进行量化。根据文献[15]中所述，方向、强度和相干性对于局部图像特征的检测非常有效，低强度和低相干性表示图像的结构特征不明显，一般对应图像的噪声和压缩效应;高强度和低相干性表示图像纹理拐角或其它多方向结构;具有高相干性的图像通常是边缘或者同方向的一系列条纹，而强度则可以表示这些条纹的相对强度。通过利用强度和相干性这两个参数可以很好的检测图像不同的局部特征。

图像梯度的方向、强度和相干性的计算方法:选择一个像素并以该像素为中心选取大小为的图像块，记第k个像素为中心的图像块像素为k1,k2,k3,…,kn，Gk为一个2×n 的矩阵，Gk=[gxk,gyk]，其中gxk为图像块的水平方向梯度，定义gxk=[gxk1,gxk2,gxk3,…,gxkn]T，gyk为图像块的垂直方向梯度矩阵，定义gyk=[gyk1,gyk2,gyk3,…,gykn]T。根据文献[9,14]，图像块越小，重建效果越好，但也增大了计算量，而若图像块太大也增加字典重建阶段的计算复杂度。并且在求解高斯核矩阵时图像块最好为奇数行和列，综合考虑到计算复杂度和重建效果的平衡，所以此处n选取25，即采用5×5的图像分块进行重建。局部梯度统计量可以通过对GkTGk奇异值分解获得，但由于耗费时间太长，本文采用GkTGk特征分解来代替，记为GkTGk的最大特征值所对应的特征向量，则梯度的角度根据文献[15]，最大特征值的平方根能够反映梯度的强度，而较小的特征值的平方根则反映了梯度的扩散，将这两个参数进行联合，获得梯度的相干性参数uk,联合方法如式(4):

(4)

具体步骤如下:

(1)输入低分辨率图像块;

(2)计算图像块梯度，构造矩阵GkTGk，获得最大特征值和相干性参数uk;

(3)对和uk进行归一化数据处理;

(4)根据和uk进行分类，获得4类图像块序列{LL,LH,HL,HH}，其中LH表示小于0.5且uk大于0.5的图像块。

2.2 图像预处理和多字典学习

首先对图像进行预处理。具体预处理过程:将样本图像进行下采样(此处下采样2倍)获得低分辨率图像LR;图像LR利用sobel算子提取边缘信息;LR和边缘信息图像双线性插值放大2倍，进行线性叠加;对叠加后的图像进行形态学腐蚀，模板为圆形，半径为1(此处模板半径与下采样倍数有关);获得更新的LR图像。预处理后LR图像边缘特征更加清晰，对比度更好。

多字典学习。假设I={I1,I2,I3,……}为样本图像库，对样本图像进行下采样，获得低分辨图像X={X1,X2,X3,……}。首先本文对低分辨图像X 进行分块处理，根据图像块xi 的纹理特征，将X重新分类为XL={XL1,XL2,XL3,XL4}，对应的高分辨率图像为XH。此处分别选取XL和XH的一阶、二阶梯度特征组成特征向量采用联合训练的方法对字典进行学习，如公式(5)和(6)所示。

(5)

(6)

式中，Sk为高低分辨率联合特征向量;Dk为高低分辨率联合字典;Ak为高低分辨率联合稀疏系数;β为稀疏度的平衡参数;M，N分别为和向量的维度。

2.3 边缘信息融合

为了提高图像边缘的效果，本文对图像边缘信息进行融合。由文献[16]可知，一幅图像中的某个图像块可以通过邻域图像块的线性运算表示，而本文仅需要获得图像的边缘信息来对重建后的图像进行融合和边缘修正，且邻域像素值和该像素值的差分更能很好的表示图像的边缘信息，因此本文采用邻域像素差分值的线性运算修正多字典重建的高分辨率图像。考虑到图像的梯度方向不同所获得的图像边缘信息也会不同，本文利用不同方向的边缘信息与重建后的图像进行融合，从而可以使图像的边缘信息更加丰富，视觉效果更佳。首先对多字典重建的高分辨率图像分别求取x+，x-，y+和y-四个方向的梯度信息，各方向梯度公式定义为(7)～(10):

(7)

(8)

(9)

(10)

其中，f(x,y) 表示图像中坐标为(x,y) 的像素灰度值，根据梯度公式计算x+，x-,y+ 和y-四个方向的梯度信息sx+,sx-,sy+,sy-。边缘信息gi定义为式(11)。

gi=ki·si (i=1,2,3,…,n)

(11)

式中，ki=[ai,bi,ci,di]是系数矩阵，si=[sx+,sx-,sy+,sy-]T。则可通过求解式(12)来获得系数矩阵K=[k1,k2,…,kn]。

min‖G+HR-I‖

(12)

式中，G=[g1,g2,…,gn]，HR为多字典重建的图像，I为样本图像。式(12)可以采用改进的正交匹配追踪算法(OMP)进行求解[17]。为了简化计算，本文设定一个图像块中所有像素的系数矩阵ki相同，四类图像块中每一类选取25个不同的K系数矩阵，选取规则即将K代入式(12)后结果较小的25个K系数矩阵。重建过程中，利用待融合图像块和样本图像块之间的欧式距离最短原则选择最佳匹配的边缘融合系数。

3 本文算法步骤

本文算法总体步骤主要分为两个阶段:训练阶段和重建阶段。

训练阶段:

(1)预处理，将样例图像库的高分辨率图像I进行m(实验中m=2)倍降采样后再插值差值放大m倍，获得低分辨图像LR;

(2)低分辨率图像LR分块，并根据2.1节图像块分类准则进行分类，获得四类图像块序列{LL,LH,HL,HH};

(3)训练获得四类图像块序列的高低分辨率图像字典样本库{DHk,DLk}(k=1,2,3,4)。

(4)根据2.3节式(12)求解各类图像块边缘信息融合的系数矩阵K。

重建阶段:

(1)预处理。根据2.2节方法进行低分辨率图像预处理获得低分辨率图像LR。

(2)对LR进行5×5分块，并根据2.1节图像块分类准则进行分类。

(3)根据式(5)对不同类别的图像块分别采用对应的字典库进行高分辨率重建。

(4)对重建后的图像匹配适当的边缘融合系数矩阵K进行图像边缘融合。

(5)输出最终的高分辨率图像HR。

4 实验结果与分析

本文实验平台采用32位的Windows 7系统(Intel i5，2.5 GHz，RAM为4.0 GB)中的MATLAB2014a仿真环境，训练图像采用YANG方法中的样本训练库。本文方法选取10万个5×5的训练样本图像块进行字典学习，每个字典原子数为256。实验中测试图像采用图2(a)～(d)中的标准图像(Lena,Peppers,House,Butterfly)和图2(e)～(f)矿井下拍摄的图像(矿井1，矿井2),图像大小均为512×512。

为了验证本文算法的优越性，本文分别进行标准图像重建和矿井图像重建两部分实验，并分别利用Bicubic,ScSR[9],SPM[18]和本文重建算法进行对比。在实验中，对图像的分块统一采用5×5的标准分块，重叠区域设置为1个像素。预处理阶段，形态学腐蚀模板为圆形，半径为1。

图像重建实验中本文采用峰值信噪比(PSNR)作为客观评价参数。实验结果如图3～6所示，其中图3～6(a)图为原图，各重建图像的PSNR值见表1。

根据标准图像的实验结果，可以发现本文方法相对其它3种方法，无论是在视觉上还是PSNR值效果都比较好，平均提高了1.4 dB。其中图3(Lena)和4(Pepper)的纹理不规则和复杂，ScSR和本文方法重建后的PSNR较高，对于复杂纹理的图像重建有比较好的效果。但ScSR方法也在图像中产生了振铃效应，本文方法则很好的削弱了振铃效应并同时保持着边缘的清晰。图5(House)和6(Butterfly)中纹理比较规则和清晰，SPM和本文方法获得的图像峰值信噪比较高，ScSR方法在图像平滑处振铃效应比较严重，而SPM在边缘处出现重影现象，边缘也不够清晰。本文方法既很好的消弱了平滑区域的振铃效应又减弱了边缘处的重影现象，虽然还有轻微的边缘锯齿现象，但相对其它三种方法重建后的图像整体质量得到很大改善。

在矿井图像重建实验中，选用图2(e)矿井1和(f)矿井2两张图像进行高分辨率图像重建测试。图2(e),(f)由于亮度低和粉尘多的矿井环境而呈现模糊和物体边缘不清晰，且图像纹理复杂不规则。同样ScSR方法重建的图7(b)和8(b)虽然边缘细节比较好，但同样也产生比较严重的振铃效应，尤其是在平滑区域(隧道墙壁)更为严重。SPM方法重建的图像比较模糊，边缘没有很好的得到恢复，且在边缘处产生了重影。而本文方法的PSNR值平均提高了0.74 dB，边缘细节也比较清晰没有重影，平滑区域振铃效应不明显，PSNR和视觉上都表现出较好的重建效果。

在重建阶段的时间复杂度方面见表2，ScSR方法约需要36 s，SPM方法约需要28 s，本文方法由于减少了每类图像块的字典原子数，可以很好的降低重建时的时间复杂度，所以只需要17 s左右，重建所用时间明显减少。

5 结 论

在基于单一高低分辨率字典对的图像重建算法的基础上提出了基于边缘信息融合的多字典图像重建算法。与单一字典方法相比，该方法能够利用梯度统计信息对图像块分类并训练多个字典库，能够根据不同图像的纹理特征选择合适的字典库来更准确的重建对应的高分辨率图像。此外低分辨率图像的预处理步骤，即低分图像边缘增强和融合部分，提高了字典重建图像边缘信息的效果;最后，字典重建后的高分辨率图像通过边缘信息融合可以弥补稀疏字典重建图像时所产生的边缘信息偏差，一定程度上可以矫正重建误差。实验结果表明:利用基于边缘融合的多字典图像超分辨率重建方法能够消弱平滑区域的振铃效应，减弱边缘处的重影现象，获得更好的矿井图像重建效果。本文算法能够增强矿井监控效果、提高预警识别能力，为无人化煤炭精准开采机器视觉装备研制提供技术参考，并有助于进一步开展在矿井图像质量提升中的性能分析和研究。

参考文献(References):

[1] 袁亮.煤炭精准开采科学构想[J].煤炭学报,2017,42(1):1-7.

YUAN Liang.Scientific conception of precision coal mining[J].Journal of China Coal Society,2017,42(1):1-7.

[2] 蔡利梅.基于视频的煤矿井下人员目标检测与跟踪研究[D].徐州:中国矿业大学,2010:10-13

CAI Limei.Research on human detection and tracking in underground coal mine videos[D].Xuzhou:China University of Mining and Technology,2010:10-13

[3] WANG Jinhua.Development and prospect on fully mechanized mining in Chinese coal mines[J].International Journal of Coal Science &Technology,2014,1(3):153-260.

[4] 李欣,崔子冠,朱秀昌.超分辨率重建算法综述[J].电视技术,2016,40(9):1-9.

LI Xin,CUI Ziguan,ZHU Xiuchang.Survey of super-resolution algorithms[J].Video Engineering,2016,40(9):1-9.

[5] LIU X,ZHAO D,ZHOU J,et al.Image interpolation via graph-based Bayesian label propagation[J].IEEE Transactions on Image Processing,2014,23(3):1084.

[6] RASTI P,DEMIREL H,ANBARJAFARI G.Image resolution enhancement by using interpolation followed by iterative back projection[A].2013 21st Signal Processing and Communications Applications Conference (SIU)[C].2016:1-4.

[7] TIMOFTE R,DE V,GOOL L V.Anchored neighborhood regression for fast example-based super-resolution[A].IEEE International Conference on Computer Vision[C].IEEE Computer Society,2013:1920-1927.

[8] YANG J,WRIGHT J,HUANG T S,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2010,19(11):2861.

[9] YANG J,WRIGHT J,HUANG T,et al.Image super-resolution as sparse representation of raw image patches[A].Computer Vision and Pattern Recognition,2008[C].IEEE Conference on.IEEE,2008:1-8.

[10] ROMAN Z,MICHAEL E,MATAN P.On single image scale-up using sparse-representations[A].International Conference on Curves and Surfaces[C].Springer-Verlag,2010:711-730.

[11] DONG W,ZHANG L,LUKAC R,et al.Sparse representation based image interpolation with nonlocal autoregressive modeling.[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,2013,22(4):1382-1394.

[12] ELAD M,YAVNEH I.A plurality of sparse representations is better than the sparsest one alone[J].IEEE Transactions on Information Theory,2009,55(10):4701-4714.

[13] CHEN S,SAUNDERS M A,DONOHO D L.Atomic decomposition by basis pursuit[J].Siam Review,2001,43(1):129-159.

[14] ROMANO Y,ISIDORO J,MILANFAR P.RAISR:Rapid and accurate image super resolution[J].IEEE Transactions on Computational Imaging,2016,3(1):110-125.

[15] FENG X G,MILANFAR P.Multiscale principal components analysis for image local orientation estimation[A].Signals,Systems and Computers,2002[C].Conference Record of the Thirty-Sixth Asilomar Conference on.IEEE,2002:478-482.

[16] CHANG H,YEUNG D Y,XIONG Y.Super-resolution through neighbor embedding[A].Computer Vision and Pattern Recognition,2004.CVPR 2004[C].Proceedings of the 2004 IEEE Computer Society Conference on.IEEE,2004:275-282.

[17] AHARON M,ELAD M,BRUCKSTEIN A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

[18] PELEG T,ELAD M.A statistical prediction model based on sparse representations for single image super-resolution[J].IEEE Transactions on Image Processing,2014,23(6):2569.