基于纹理转移的露天矿区遥感图像超分辨率重建

杨宏业,赵银娣,董霁红

(中国矿业大学 环境与测绘学院,江苏 徐州 221116)

摘 要:遥感图像是露天矿区生产的主要信息源之一,其空间分辨率影响着矿区各场景边界的区分、细小地物的判读和控制点的定位等,对矿区的生产管理与监测起着重要作用,针对现实中成本、技术等的制约,获取不了满足要求的高空间分辨率图像的问题,提出了利用超分辨率重建技术提高露天矿区遥感图像的空间分辨率;针对露天矿区各场景纹理特征明显的特点,采用深度纹理转移的方法进行超分辨率重建。通过一个端到端的深度学习模型,输入低分辨率的图像和对应的参考图像,把其分成若干个图像块,利用特征提取网络提取图像块的特征,并比较低分辨率特征图像块和参考特征图像块纹理相似性,自适应地从参考图像中转移纹理,在各种尺度的特征层中把多个交换的纹理特征图融合到生成网络中,构建纹理细节丰富的重建图像。同时对特征提取部分进行了改进,用网络深度更深,运算量更小的ResNet34网络代替VGG19网络,更进一步提高了特征提取的效果。研究利用自制的露天矿区图像数据集进行实验,并与先进的图像超分辨率重建方法比较。研究结果表明:在参考图像对结果的影响方面,改进的方法重建效果会随参考图像与待重建图像相似度的增加而提高;与其他方法对比表明改进的方法在峰值信噪比、结构相似性等方面的值都优于未改进的方法、EDSR和SRGAN等方法,视觉感知方面也优于其他方法。

关键词:露天矿区;参考图像;纹理转移;超分辨率重建

矿产资源是人类社会前进的动力,是不可或缺的物质基础。矿产资源的开发一直以来都是国家和社会关注的重点问题。早在2004年,国务院新闻办就发布了《中国的矿产资源政策》白皮书[1],高度重视矿产资源的合理利用,推进矿业绿色发展,倡导保护生态环境,高效利用资源。露天开采是一种矿物开采方法,由于感兴趣的矿石所处的深度较浅,因此在地表进行开采[2]。露天矿区开采简单,生产效率高,开采成本低[3]。但是过度开采和不正确的开采方式会对生态环境造成极大的损害,导致土壤、植被和水资源等的破坏。

随着传感器的发展,遥感技术已广泛应用于土地利用[4-5]、灾害监测和工程建设等领域。遥感图像因其宏观性、综合性、周期性、详细性、客观性、时空多边性等特点,成为矿区生产的基本信息源之一[6]。目前,通过多时相的遥感图像对正在开采中的露天矿区和在复垦中的矿区土地进行动态监测[7-9],科学高效,省时省力。

随着高性能新型传感器研制开发水平以及环境资源遥感对高精度遥感数据要求的提高,高空间分辨率已经成为卫星遥感图像获取技术的发展趋势。高空间分辨率遥感图像的发展提高了信息提取、信息检测的精度,开拓了遥感数据的应用领域。空间分辨率的性能决定了图像的画面清晰程度,是一幅图像的核心。受限于图像采集设备如遥感卫星、无人机等的成本,无法每一次都能获得边缘锐化,无块状模糊的大尺寸高清图像。对于露天矿区,矿坑是开采的主体,变化活动较为频繁和剧烈;排土场距离矿坑很近,地表变化也易随矿坑的开采而变化;矿区排土场相对较稳定;矿区建筑是人类在矿区活动的重点区域,位于离矿坑较远且位置相对安全的地方,应密切关注其周边地物变化,当其周围地表异常时需及时撤离,以免造成安全事故;运输道路位于矿区各区域之间,当其位于变化情况异常的区域时,会对矿区安全生产造成威胁[10]。如果该矿区的遥感图像空间分辨率达不到一定的要求,会导致矿区各场景边界难以区分、细小的地物无法判读、控制点精度得不到保证,满足不了生产和监测管理的需求,对矿区的生产活动产生不利影响。图像超分辨率重建技术可以对低分辨率的图像进行分辨率重建,提高原始图像的分辨率,一定程度上解决图像分辨率较低的问题。对低分辨率的露天矿区遥感图像进行超分辨率重建不仅可以大幅节约成本,还能提高对矿区地物的识别能力和识别精度,实现从遥感图像中获取超出其分辨率的图像以及更丰富的信息。

1964年,HARRI[11]和GOODMAN[12]以单幅图像插值的方法提出超分辨率重建的概念,为后来的发展奠定了基础。按照研究方法分类,传统的超分辨率重建方法主要分为3类,分别是基于插值的方法[13-17]、基于重建的方法[18-21]和基于学习的方法[22-25]。基于插值的算法运算复杂程度低,运行速度较快,但易导致插值后的图像边缘较为模糊、出现明显的锯齿等现象;基于重建的算法的高分辨率图像边缘和细节较好,但其收敛速度慢且稳定性不好,依赖于初始估计,计算量大;基于学习的方法是从大量的训练样本中获取先验知识来进行训练,效果较好,但训练样本的选择非常重要[26]。深度学习超分辨率重建技术近年来不断发展,成为大热并广受欢迎。深度学习相较于传统方法,可以通过学习,自动提取特征,避免了人工提取特征的主观性和不完备性。自从SRCNN[27-28]方法首次将深度学习利用于图像超分辨率重建之后,专家学者们陆续提出了很多深度学习图像超分辨率重建的方法。随着方法模型越来越复杂,神经网络层数不断加深,会出现梯度消失、参数过多、训练困难等问题,这些问题使得专家学者们不断提出更好的方法,如DRCN[29]方法引入了递归结构和跳跃连接,缓解了训练模型的困难;SRDenseNet[30]通过稠密块结构,减轻了梯度消失问题,加强了特征传播,减少了参数数量。基于深度学习的图像超分辨率重建方法发展迅速,很多超分辨率重建方法的峰值信噪比(Peak Signal to Noise Ratio,PSNR)较高,但是视觉效果并不好,特别是对于细微纹理,人眼看上去会过于平滑,有模糊区域甚至伪影。

遥感图像有着丰富的纹理信息,纹理特征是遥感图像的基本特征之一。纹理特征在计算机视觉、模式识别以及数字图像处理中起着重要的作用[31]。露天矿区中每种场景的纹理特征各有不同,如排土场呈环形分布,边缘区域具有浅黄色或亮灰白的放射性纹理,有明显的扇形或阶梯特征;矿区复垦土地在矿区周围,纹理排列规则,与自然地物有区别;废渣堆由采煤过程中产生的各种碎石渣、煤矸石堆放形成,呈集群团状分布,纹理较为均匀,颜色为灰色。笔者利用SRNTT[32]方法,在特征空间中进行局部纹理匹配,并通过深度模型将匹配的纹理传递到最终输出。SRNTT将相关纹理从参考图像传输到输出重建的图像,可以补充低分辨率图像中缺失的细节,避免细微之处产生模糊区。专家学者们会使用感知相关的约束如感知损失[33]、对抗损失等[34]来提高图像质量,SRNTT结合了感知相关约束,利用感知相关函数提高人眼视觉效果,能够重建出更合理的图像。

1 网络结构

采用一个端到端的深度学习模型SRNTT。SRNTT由ZHANG等[32]提出,是一种基于参考图像的超分辨重建方法[35],旨在根据低分辨率图像ILR和给定的参考图像IRef生成高分辨率的重建图像ISR

SRNTT方法是在特征提取的空间中搜索来自IRef的匹配纹理,然后以多尺度方式将匹配的纹理传输到ISR。纹理转移的过程中会对ILRIRef之间语义的相似性进行判断,从而抑制不相关纹理。SRNTT方法主要包括特征交换和纹理转移两个部分,结构如图1所示。

图1 方法结构
Fig.1 Structure graphing

1.1 特征交换

特征交换是在特征提取空间内对整个IRef进行搜索,找到类似的可替换ILR的纹理特征。首先对ILR进行双3次上采样得到ILR↑,使它拥有和高分辨率图像IHR同样的尺寸;同时考虑到分辨率的不同,对相应的IRef进行双3次下采样和上采样得到IRef↓↑,使其尺寸与模糊程度同经过上采样的ILR↑对应。

1.1.1 特征提取

为了加快进程,SRNTT中只利用VGG19[36]的前3层特征提取网络,VGG19使用3×3卷积核的卷积层堆叠并交替最大池化层,有2个 4 096 维的全连接层,网络深度达到19层。本文用ResNet34[37]替代VGG19提取图像特征,以提取更加丰富的特征。

ResNet于2015年首次提出后,广泛应用于目标检测、语义分割和目标识别等领域。ResNet为在VGG的基础上,加入跳跃连接形成残差网络,相比于VGG,ResNet网络深度更深,运算量更小。ResNet的主要思想是在网络中增加了直连通道,允许保留之前网络层的一定比例的输出。ResNet网络输出分为两部分,分别为恒等映射(x)、残差映射(F(x)),即y=F(x)+x,如图2所示。

图2 ResNet残差块[37]
Fig.2 ResNet residual block[37]

1.1.2 相似性判断

把输入图像和参考图像分成若干个大小相同的图像块,考虑到ILR↑IRef↓↑的图像块在颜色和光照上会有区别,所以就在高层次的特征图上计算,即φ(I)为已提取到的高层特征图的结构和纹理信息。

在特征提取的过程中,匹配ILR↑IRef↓↑中的图像块,利用内积来衡量特征图像块之间的相似性。可以用一组卷积计算遍历ILR↑IRef↓↑的图像块,得到相似性:

其中,PjILR↑的特征图中的第j个补丁;Sj为第jIRef↓↑图像块和第j个图像块之间的相似性。使用IRef↓↑中相关性高的、质量好的特征块替换ILR↑特征块粗糙的纹理特征,用外部信息填补低分辨图像的信息空缺。通过比较相似性的大小可以建立一个转移的特征图M来代表纹理增强后的低分辨率图像。

1.2 纹理转移

纹理转移是在各种尺度的特征层中把多个交换的纹理特征图融合到一个基础的深度生成网络中。在每个卷积层l中,利用纹理特征编码器φl把特征交换得到的交换特征图Ml与当前的尺度匹配,其中,φl为第l层的纹理特征编码器,用于提取第l层特征图的结构纹理信息。

利用残差块和跳跃连接来建立基本的生成式网络,第l层网络的输出ψl定义为

ψl=[Res(ψl-1Ml-1)+ψl-1]

其中,ψl是第l层的输出;Res为残差块;‖为通道连接。最终在L层卷积层后生成超分辨率重建后的结果图,并且分辨率达到IHR的分辨率。假设有L层,最终的ISR定义为

ISR=Res(ψl-1Ml-1)+ψl-1

1.3 损失函数

不同于传统的方法只减少ILRIHR的差异,SRNTT方法考虑到ISRIRef的纹理差异,因此需要ISR的纹理与交换的特征图Ml的纹理在特征空间的相似,定义了纹理损失函数Ltex:

式中,Gr为Gram矩阵;λl为正则化系数;为所有ILR图像块对应的最佳匹配相似度的得分。

重构损失定义为lrec=‖IHR-ISR1。使用1范数是为了产生更锐利的细节。

2 实验与分析

2.1 数据集

本实验数据来源于RSI-CB256[38]数据集和剪裁的谷歌影像,首先对数据进行预处理,将原始高分辨率图像作为输出对照,对其进行4倍下采样得到低分辨率图像作为模型的输入,训练得到扩尺寸至4倍与原始图像大小一致的结果。本实验的数据每一组数据有两张,分别是输入图像和参考图像。训练数据集共4 176组,每张图像的尺寸为256×256像素,测试数据集共100组。数据集内容涉及矿区各场景,包括露天矿坑、排土场、煤炭运输道路、废渣堆、矿区复垦土地、煤炭中转场地、矿区建筑以及矿区周围的场景如山地、耕地、森林、居民地、裸地,如图3所示。

2.2 训练环境

本实验采用TensorFlow深度学习框架,运行内存为16.0 GB,处理器为Intel Core i7-8700,显卡为NVIDIA GeForce GTX1080 Ti,GPU加速库采用CUDA9.0和CUDNN7,在Ubuntu16.04系统上训练改进的SRNTT超分辨率重建模型。模型参数中,学习率设置为0.000 1,迭代次数设置为50,每个批次训练9张图,优化器设置为Adam。

图3 数据集涉及场景
Fig.3 Scene contained in dataset

2.3 评价指标

本文采用PSNR[39]、结构相似性[40](Structural Similarity Index,SSIM)作为衡量图像超分辨率重建效果的指标,用来评价一幅图像重建后和原图像相比质量的好坏。

PSNR为最常用的图像质量评价指标,其值越大,重建后失真越小,图像重建效果越好。一张大小为m×n的图像I,噪声图像为K,均方误差(Mean Square Error,MSE)定义为

PSNR(dB)定义为

其中,为图像可能的最大像素值,如果像素值由B(一般B=8)位二进制来表示,那么maxI=2B-1。 SSIM可以较好地反映人眼主观感受,取值范围为(0,1),SSIM值越大,重建图像质量越好。SSIM分别从亮度、对比度、结构3个方面度量图像相似性,设基于图像x和图像y的比较,其SSIM定义为

亮度相似性l(x,y)为

式中,μxx的均值;μyy的均值;c1为常数。

对比度相似性c(x,y)为

式中,x的方差;y的方差;c2为常数。

结构相似性s(x,y)为

式中,σxyxy的协方差;c3为常数。

SSIM(x,y)=[l(x,y)αc(x,y)βs(x,y)γ]

α,β,γ 均为1,则

2.4 结果分析

本实验使用红、绿、蓝3个波段组成的真彩色图像对模型进行验证,利用改进的SRNTT方法与SRNTT,SRGAN[41],EDSR[42]进行了对比实验。SRGAN方法是利用生成对抗网络对图像进行超分辨率重建,并感知损失和对抗损失来提升恢复出的图片的真实感。该网络包括生成网络和判别网络。生成网络由B残差块、卷积层、Batch-Normalization层和ReLU激活函数层组成,并通过训练两个子像素卷积层来提高分辨率,以生成重建图像。判别网络由VGG网络、LeakyReLU激活函数层和最大池化层组成,用于判别是生成的高分辨率图像还是真正的高分辨率图像。

EDSR方法是只利用了生成对抗网络的生成网络,并去除了Batch-Normalization层,使每层提取更多的特征,以获得更好的效果。该网络的损失函数是均方损失函数和VGG 损失函数。SRGAN和EDSR都是较为先进,重建效果较好的方法。选择了测试集中的2幅图像可视化,如图4所示。

图4 实验测试结果
Fig.4 Experiment testing results

同时,利用PSNR和SSIM对测试集中的100幅图像进行评价,结果见表1。

综合图4和表1可以看出,从视觉上看,改进的SRNTT和SRGAN较EDSR和SRNTT更清晰,纹理细节更丰富,模糊区域较少,取得了更优的效果;改进的SRNTT和SRGAN相比,视觉感知没有较大差异,效果都较好;从评价指标上看,改进的SRNTT在PSNR和SSIM上都略微高于其他方法,在PSNR方面与SRNTT相比高了0.869 3 dB,与SRGAN相比高了0.418 33 dB,比EDSR高了3.073 6 dB;SSIM比SRNTT,SRGAN,EDSR分别高了0.006 9,0.000 5,0.003 0。尽管PSNR,SSIM这两个指标仅能反映重建后的图像与原始图像之间的结构相似性,不涉及图像内容的对错,但改进的SRNTT在视觉效果和PSNR,SSIM上都有较好表现。

表1 结果对比
Table 1 Compare results

评价指标EDSRSRGANSRNTT改进的SRNTTPSNR/dB35.594 6038.249 8737.798 9038.668 20SSIM0.958 50.961 00.954 60.961 5

2.5 参考图像的影响

选取两组测试数据对不同参考图像对结果的影响进行测试和分析,测试结果如图5所示,并利用PSNR和SSIM对上述图像进行评价,结果见表2。

根据图5和表2看出,不同参考影像对应的重建图像也不同。REF4与需重建的图像基本不相似,得到的结果无论在视觉上还是评价指标上都较差,而REF1与需重建的图像相似度较高,重建后的效果也较好。可以很明显地发现,参考图像与待重建的图像相似度越高,重建后的图像效果越好,相似度越低,重建后的图像效果差。

图5 不同参考图像的测试结果
Fig.5 Testing results with different reference images

表2 不同参考影像结果对比
Table 2 Different reference images testing compare results

评价指标第1组图像REF1REF2REF3REF4第2组图像REF1REF2REF3REF4PSNR/dB38.921 138.879 738.114 333.940 438.754 038.575 937.842 231.155 8SSIM0.966 80.935 30.974 90.935 30.975 40.966 00.937 40.861 4

3 结 论

(1)为提高现实中露天矿区遥感图像的空间分辨率,通过改进的SRNTT模型对露天矿区遥感图像进行超分辨率重建,在特征提取部分用ResNet34代替VGG19,网络深度更深,运算量更小,进一步提高了特征提取的效果。

(2)实验结果表明,本文方法在视觉效果和评价指标的值上都有较好的表现。在PSNR方面,比SRNTT,SRGAN,EDSR分别高0.869 30,0.418 33,3.073 60 dB;在SSIM方面,比SRNTT,SRGAN,EDSR分别高0.006 9,0.000 5,0.003 0;在视觉表现方面,比其他在细节方面更为真实,且本文方法的重建效果随参考图像与待重建图像的相似度的增加而提高。

(3)本文方法适用于露天矿区的遥感图像,能充分利用遥感图像的长时间序列和时空多边性,且高分辨率的遥感图像价格高,低分辨率的遥感图像价格较低且获取容易,可以大幅度节约成本,在露天矿区生产和修复领域应用能更好地服务于矿区的动态监测与管理。

参考文献(References):

[1] 国务院新闻办公室.《中国的矿产资源政策》白皮书[J].国土资源通讯,2004(1):41-46.

The State Council Information Office of the People’s Republic of China.China’s policy on mineral resources[J].National Land & Resources Information,2004(1):41-46.

[2] FRANCO-SEPúLVEDA G,DEL RIO-CUERVO J C,PACHN-HERNáNDEZ M A.State of the art about metaheuristics and artificial neural networks applied to open pit mining[J].Resources Policy,2019,60:125-133.

[3] 李刚.浅谈露天采矿矿山地质环境问题与恢复治理措施[J].世界有色金属,2019,519(3):47-48.

LI Gang.A brief talk on geological environment problems and restoration measures of open-pit mining mines[J].World Nonferrous Metals,2019,519(3):47-48.

[4] 刘培,杜培军,逄云峰.基于遥感和CA_Markov模型的煤矿区热环境与土地覆盖变化模拟评价[J].煤炭学报,2012,37(11):1847-1853.

LIU Pei,DU Peijun,PANG Yunfeng.Analysis and simulation of land cover and thermal environment in mining area based on remote sensing data and CA_Markov model[J].Journal of China Coal Society,2012,37(11):1847-1853.

[5] 李晶,焦利鹏,申莹莹,等.基于IFZ与NDVI的矿区土地利用/覆盖变化研究[J].煤炭学报,2016,41(11):2822-2829.

LI Jin,JIAO Lipeng,SHEN Yingying,et al.Land use and cover change in coal mining area by IFZ and NDVI[J].Journal of China Coal Society,2016,41(11):2822-2829.

[6] 杜培军.高分辨率卫星遥感的发展及其在矿山的应用煤[J].煤,2001(1):5-7.

DU Peijun.Development of high-resolution satellite remote sensing and its application in mines[J].Coal,2001(1):5-7.

[7] 毕如田,白中科,李华,等.基于3S技术的大型露天矿区复垦地景观变化分析[J].煤炭学报,2007,32(11):1157-1161.

BI Rutian,BAI Zhongke,LI Hua,et al.Landscape change analysis of reclamation land in opencast coal mine based on 3S technology[J].Journal of China Coal Society,2007,32(11):1157-1161.

[8] 武强,李学渊.基于计算几何和信息图谱的矿山地质环境遥感动态监测[J].煤炭学报,2015,40(1):160-166.

WU Qiang,LI Xueyuan.Remote sensing dynamic monitoring of mining geo-environment based on computational geometry and information TUPU[J].Journal of China Coal Society,2015,40(1):160-166.

[9] 张洁,熊永合,程璐.基于面向对象分类法和高分一号影像的露天矿区分类技术研究[J].青海大学学报,2018,36(1):94-100.

ZHANG Jie,XIONG Yonghe,CHENG Lu.Classification of open-pit mine area based on object-oriented technology with GF-1 remote sensing image[J].Journal of Qinghai University(Natural Science),2018,36(1):94-100.

[10] 李莹,张锦,郭姣姣,等.基于高分辨率遥感影像的露天矿区地表变化研究[J].科技情报开发与经济,2009,19(12):167-168,171.

LI Ying,ZHANG Jin,GUO Jiaojiao,et al.The research on the surface change in open-pit mine based on high resolution remote sensing images[J].Scitech Information Development & Economy,2009,19(12):167-168,171.

[11] HARRIS J L.Diffraction and resolving power[J].Journal of the Optical Society of America,1964,54(7):931-933.

[12] W G J.Introduction to fourier optics[M].New York:McGrawHill,1968.

[13] BLU T,THÉVENAZ P,UNSER M.Linear interpolation revitalized[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2004,13(5):710-719.

[14] G K R.Cubic convolution interpolation for digital image processing[J].IEEE Transactions on Acoustics Speech Signal Processing,2003,29(6):1153-1160.

[15] WANG Q,WARD R K.A new orientation-adaptive interpolation method[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2007,16(4):889-900.

[16] YANG S,KIM Y,JEONG J.Fine edge-preserving technique for display devices[J].IEEE Transactions on Consumer Electronics,2008,54(4):1761-1769.

[17] CHEN M J,HUANG C H,LEE W L.A fast edge-oriented algorithm for image interpolation[J].Image Vision Computing,2005,23(9):791-798.

[18] STARK H,OSKOUI P.High-resolution image recovery from image-plane arrays,using convex projections[J].Journal of the Optical Society of America A Optics Image Science,1989,6(11):1715.

[19] PATTI A,SEZAN M I,TEKALP A M.High-resolution image reconstruction from a low-resolution image sequence in the presence of time-varying motion blur[A].Proceedings of 1st International Conference on Image Processing[C].New York:IEEE,1994:343-347.

[20] TEKALP A M,OZKAN M K,SEZAN M I.High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration[A].1992 IEEE International Conference on Acoustics,Speech,and Signal Processing[C].New York:IEEE,1991:169-172.

[21] IRANI M,PELEG S.Super resolution from image sequences[A].Proceedings 10th International Conference on Pattern Recognition[C].New York:IEEE,1990:115-120.

[22] 黄福珍,周晨旭,何林巍.联合局部约束的邻域嵌入人脸超分辨率重建[J].中国图象图形学报,2018,23(6):792-801.

HUANG Fuzhen,ZHOU Chenxu,HE Linwei.Face super-resolution reconstruction method based on joint local constraint neighbor embedding[J].Journal of Image and Graphics,2018,23(6):792-801.

[23] 袁其平,林海杰,陈志宏,等.用支持向量回归法实现单帧图像超分辨率重建[J].光学精密工程,2016,24(9):2302-2309.

YUAN Qiping,LIN Haijie,CHEN Zhihong,et al.Single image super-resolution reconstruction using support vector regression[J].Optics and Precision Engineering,2016,24(9):2302-2309.

[24] 王宏,卢芳芳,李建武.结合支持向量回归和图像自相似的单幅图像超分辨率算法[J].中国图象图形学报,2016,21(8):986-992.

WANG Hong,LU Fangfang,LI Jianwu.Single image super-resolution via support vector regression and image self-similarity[J].Journal of Image and Graphics,2016,21(8):986-992.

[25] DAS GUPTA M,RAJARAM S,HUANG T S,et al.Ordinal regression based subpixel shift estimation for video super-resolution[J].Eurasip Journal on Advances in Signal Processing,2007(1):1-10.

[26] 龙超.图像超分辨率重建算法综述[J].科技视界,2015(13):88-89.

LONG Chao.A survey of image super resolution reconstruction algorithms[J].Science & Technology Vision,2015(13):88-89.

[27] DONG C,LOY C C,HE K,et al.Learning a deep convolutional network for image super-resolution[A].Computer Vision-ECC 2014[C].Cham:Springer,2014:184-199.

[28] DONG C,LOY C C,HE K,et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(2):295-307.

[29] KIM J,LEE J K,LEE K M.Deeply-recursive convolutional network for image super-resolution[A].2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)[C].New York:IEEE,2016:1637-1645.

[30] TONG T,LI G,LIU X,et al.Image super-resolution using dense skip connections[A].IEEE International Conference on Computer Vision[C].New York:IEEE,2017:4809-4817.

[31] 傅肃性.遥感专题分析与地学图谱[M].北京:科学出版社,2002.

[32] ZHANG Z,WANG Z,LIN Z,et al.Image super-resolution by neural texture transfer[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].New York:IEEE,2019:7982-7991.

[33] JOHNSON J,ALAHI A,FEI-FEI L.Perceptual losses for real-time style transfer and super-resolution[A].European conference on computer vision 2016[C].Cham:Springer,2016:694-711.

[34] LEDIG C,THEIS L,HUSZAR F,et al.Photo-realistic single image super-resolution using a generative adversarial network[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].New York:2017:4681-4690.

[35] ZHENG H,JI M,WANG H,et al.CrossNet:An end-to-end reference-based super resolution network using cross-scale warping[A].Proceedings of the European Conference on Computer Vision (ECCV2018)[C].Cham:Springer,2018:88-104.

[36] SIMONYAN K,ZISSERMAN A.Very deep convolutional neworks for large-scale image recognition[J/OL].https://arxiv.org/abs/1409.1556,2019-07-25.

[37] LI H F,TAO C,WU Z,et al.Deep residual learning for image recognition[A].IEEE Conference on Computer Vision and Pattern Recognition (CVPR)[C].New York:IEEE,2016:770-778.

[38] LI H,TAO C,WU Z,et al.RSI-CB:A large scale remote sensing image classification benchmark via crowdsource data[J/OL].https://arxiv.org/abs/1705.10450,2019-07-25.

[39] MARTENS J B,MEESTERS L.Image dissimilarity[J].Signal Processing,1998,70(3):155-176.

[40] WANG Z,BOVIK A C,SIMONCELLI E P.8.3-Structural approaches to image quality assessment[J].Handbook of Image & Video Processing,2005,8:961-974.

[41] LEDIG C,THEIS L,HUSZAR F,et al.Photo-realistic single image super-resolution using a generative adversarial network[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].New York,2017:4681-4690.

[42] LIM B,SON S,KIM H,et al.Enhanced deep residual networks for single image super-resolution[A].IEEE Conference on Computer Vision and Pattern Recognition Workshops(CVPRW)2017[C].New York,IEEE,2017:1132-1140.

Remote sensing image super-resolution of open-pit mining area based on texture transfer

YANG Hongye,ZHAO Yindi,DONG Jihong

(School of Environment Science and Spatial Informatics,China University of Mining and Technology,Xuzhou 221116,China)

Abstract:Remote sensing image is one of the main sources in open-pit mines production.Its spatial resolution affects the identification of the boundary of each scene in mining area,the interpretation of small ground objects and the location of control points.Remote sensing images play an important role in the open-pit production management and monitoring.Aiming at the problem of high spatial resolution image that meets the restrictions,such as cost and technological constraints,it is proposed to use a super-resolution technology to improve the spatial resolution of remote sensing images in open-pit mining areas.According to the obvious texture features of each scene in the open-pit mining area,the research used a deep learning texture transfer super-resolution method.Through an end-to-end deep learning model,the processes are as follows:input low-resolution images and corresponding reference images,divide them into several image patches,extract the features of image patches using feature extraction network,and compare low-resolution feature image blocks and reference features.The image patches texture similarity adaptively transfers the texture from reference images,and fuses the plurality of ex-changed texture feature maps into the generation network in the feature layers of various scales to construct the reconstructed images with rich texture details.At the same time,the ResNet34 with deeper network depth and smaller computing capacity is used to replace the VGG19,which further improves the feature extraction effect.The research used a self-made open-pit mining area dataset for experiments.Compared with the advanced image super-resolution methods,in terms of the influence of the reference image on the results,the results show that the improved method reconstruction effect will increase with the similarity between reference images and input images.Compared with other methods,the values of peak signal-to-noise ratio and structural similarity are better than the original methods,EDSR and SRGAN,and the visual perception is better.

Key words:open-pit mining area;reference images;texture transfer;super-resolution

移动阅读

杨宏业,赵银娣,董霁红.基于纹理转移的露天矿区遥感图像超分辨率重建[J].煤炭学报,2019,44(12):3781-3789.doi:10.13225/j.cnki.jccs.SH19.1028

YANG Hongye,ZHAO Yindi,DONG Jihong.Remote sensing image super-resolution of open-pit mining area based on texture transfer[J].Journal of China Coal Society,2019,44(12):3781-3789.doi:10.13225/j.cnki.jccs.SH19.1028

中图分类号:TD824;TP751

文献标志码:A

文章编号:0253-9993(2019)12-3781-09

收稿日期:2019-07-25

修回日期:2019-09-18

责任编辑:郭晓炜

基金项目:国家重点研发计划资助项目(2016YFC0501105);中央高校基本科研业务费专项资金资助项目(2015XKMS050);自然资源部退化及未利用土地整治工程重点实验室开放基金资助项目(SXDJ2019-4)

作者简介:杨宏业(1995—),女,江苏南京人,硕士研究生。E-mail:yhyyeah666@163.com

通讯作者:赵银娣(1980—),女,江苏靖江人,副教授,博士。E-mail:zhaoyd@cumt.edu.cn