煤矿机电与智能化

特征压缩激活作用下U-Net网络的煤尘颗粒特征提取

王 征,张赫林,李冬艳

(西安科技大学 电气与控制工程学院,陕西 西安 710054)

摘 要:为研究煤尘颗粒的图像特征内在机理,以选煤厂为项目背景区,包含6个工作面1 500个煤尘图像信息为依托,搭建特征压缩激活U-Net卷积神经网络并对煤尘颗粒图像进行语义分割。首先通过现场采样获取煤尘颗粒样本,建立图像数据集并输入到分割网络;其次通过网络左半部模型完成煤尘特征的批量归一化和压缩激活,获得输出特征传递到网络右半部模型进行上采样以恢复煤尘特征图像尺寸,完成煤尘颗粒信息的二分类;最后运用二值交叉熵及合页协同损失函数训练网络并缓解分割任务中的颗粒特征类别不平衡问题。通过搭建模型进行仿真试验:① 通过试验仿真二值交叉熵及合页协同损失函数对网络分割性能的影响;② 通过试验评估所提出的优化网络与常规颗粒图像提取算法FCN,SegNet,DeepLab,SENet,U-Net网络的分割性能,并验证所提出的优化网络的特征信息提取能力;③ 在试验①,② 结果基础上,采用八邻域特征算法实现煤尘颗粒的定位标注,提取颗粒占比特性参数。研究结果表明,二值交叉熵及合页协同损失函数可获得较优分割效果;所提出的Unet-SE改进网络模型对不同形状及粒径的颗粒类别具有较优的学习效果,其学习性能指标:准确率、召回率以及F1分数分别提高到0.873 2,0.843 4和0.858 0。与其他识别算法相比,改进算法可有效增强煤尘特征的学习能力,大幅缩短训练时间,并精确获取颗粒特征更多细节信息。

关键词:图像特征提取;U-Net;特征压缩激活;卷积神经网络;协同损失函数

随着国家对大型煤矿的生产安全及环保要求越来越高,煤尘治理成为最重要的安全防治工作之一[1],煤矿生产过程形成的大量煤尘不仅是一种环境污染源,也是对煤炭原料的一种损耗,同时易造成作业设备的磨损,使得产品质量下降。当煤尘颗粒达到一定质量浓度,会引起煤尘爆炸事故[2],其参与的爆炸危害远大于瓦斯爆炸,这严重威胁着煤矿的生产安全[3]。因此对煤尘颗粒的特征信息进行提取分析,尤其是从煤尘颗粒的图像特征这一新角度审视和探索煤尘颗粒特性机理,有利于煤尘颗粒的防治,能够有效避免重大事故的发生,对煤矿的生产安全具有指导意义。

目前对煤尘颗粒特征机理已经进行了大量研究,文献[4]研究了不同厚度光束对煤尘平均粒度的影响,并指出采用直径为0.24 mm光束测量,误差最小;文献[5]研究了煤尘颗粒粒径对管道内的效应段粒子运动速度的影响,所提改进装置模型能有效应用于煤尘检测;文献[6]研究了某一典型高挥发分煤尘的爆炸压力变化特性,经分析指出,随着煤尘云浓度的增加,爆后残留物的孔隙率逐渐增加,其粒径呈指数增大的趋势变化。鉴于技术手段及研究角度的局限,专家们提出的方案是基于不同实验条件下对煤尘特征的一个或几个参数。基于此,考虑进一步对煤尘特性参数图像分析的内在机理进行探索。

近年来,大量研究人员开始基于图像分析的角度探索新的煤尘颗粒特佂提取方法,并取得一定成果。文献[7]提出基于小波变异和模糊熵的图像分割算法,算法结构简单,运行速度快,但得到的分割结果中依然存在大量噪点,将会影响煤尘颗粒特性的进一步研究;文献[8]提出改进同步迭代算法,研究不同松弛因子对图像清晰度的影响;文献[9]根据煤尘颗粒的边缘特性进行分析,得出颗粒表面光滑度、黏合性等对颗粒的物理化学特性的影响。上述研究均实现了对颗粒图像特性的分析,但对煤尘颗粒图像特征细节信息的提取未进行深入探讨。因此,考虑从颗粒图像特征细节信息入手,可以更好的解决煤尘颗粒图像特征提取问题。

传统的煤尘特性参数分析方法已经凸显出一定的局限性,因此迫切需要运用新的技术解决现有问题。深度学习及大数据驱动的深入研究,可用于解决图像特征信息不明确的煤尘颗粒识别问题。此次主要针对煤尘特征图像信息进行分析,以全卷积神经网络为基础,根据煤尘颗粒的颜色、纹理、边缘等图像信息捕捉煤尘图像特征,网络中后半部卷积层提取到能表达更多煤尘信息语义程度的特征图,并通过反向传播获取到的误差值对特征图进行迭代更新,输出前抓取特征图中的煤尘和背景信息实现二分类,确保输出网络对煤尘颗粒的预测结果。

从微观学和复杂的非线性模型研究角度出发,首先搭建U-Net网络架构模型,并在U-Net网络的基础上融合特征压缩激活模块,提出一种特征压缩激活U-Net卷积神经网络(Unet-Squeeze Excitation,Unet-SE)实现煤尘颗粒图像的语义分割,完成煤尘颗粒图像细节特征信息提取。其次从网络的基本结构和原理分析入手,应用煤尘图像样本数据进行实验仿真,分析协同损失函数对网络分割性能的影响,并从准确率、召回率以及F1分数3个指标上对Unet-SE网络进行合理的评估,验证改进后网络模型的可行性。

1 煤尘颗粒特征提取

1.1 改进Unet-SE网络结构

U-Net[10-12]网络模型用于解决图像分割问题,尤其是针对形状较小的微观粒子分割效果显著,能够很好地提取其图像特征信息。由于煤尘颗粒边界与微观粒子边界特征相似,因此将该网络应用于煤尘颗粒图像分割部分。为提高网络分割结果的准确性,对U-Net网络进行改进,加入批量归一化(Batch Normalization,BN)和特征压缩激活(Squeeze Excitation,SE)得到Unet-SE网络,网络结构如图1所示。其特征提取与上采样阶段子模块细节如图2所示。

图1 改进Unet-SE网络结构
Fig.1 Structure of improved Unet-SE

图2 特征提取与上采样阶段子模块结构
Fig.2 Structure of each module for feature extraction and up sampling

Unet-SE网络结构可分为左右两部分,其中左半部分网络通过4个模块a完成对煤尘图像特征信息的提取:模块a中首先对煤尘图像进行一次3×3卷积,提取煤尘颗粒特征,再经过BN层和SE模块获取更多的煤尘颗粒特征信息,最后通过ReLU函数进行激活。上述过程共执行2次,在第2次ReLU激活函数后连接1个步长为2的最大池化层以增强卷积层对煤尘颗粒位置的敏感性,煤尘图像每经过1次模块a,通道数都将加倍以减少特征信息的丢失,图像通道数变化情况为1→64→128→256→512→1 024。右半部分网络通过4个模块b和1个模块c完成整个上采样过程:模块b中首先对左半部分网络提取的特征图通过上采样进行放大,其次将采样结果和与通道加权之后的特征信息进行连接,再通过2×2卷积进行特征融合,然后对接BN层和ReLU激活函数输出特征图,每经过1次模块b,煤尘图像的通道数都会作减半处理,最后连接模块c进行1次卷积,经过BN层和sigmoid激活函数,将64个煤尘特征通道映射为2个特征通道,实现煤尘颗粒和背景的二分类,图像通道数变化情况为1 024→512→256→128→64→2。

1.2 煤尘特征的批量归一化

由于U-Net结构中每层及同层网络不同维度的接受域大小不同,导致所需学习率大小各异且无法规范。要确保损失函数有效地下降可采用其中最小的初始学习率进行训练。而在卷积层后连接BN层可对网络每层、每个维度的接受域大小规范统一,以保证网络在煤尘颗粒特征提取过程中选取较高的初始学习率进行优化[13],并提高训练过程中学习率的衰减速度,从而使网络具有快速收敛的特性。

BN层与U-Net相结合采用仿权重共享策略,即视每张特征图为1个神经元,归一化操作的对象为单一神经元,针对前向连接卷积层提取到的H×W煤尘特征图(H,W为煤层特征图尺寸),分别对应H×W个神经元,第i层输出的煤尘特征批量归一化过程为

(1)

(2)

(3)

(4)

其中,μ为煤尘特征均值;m为煤尘特征的总层数;Z(i)为第i层输出的煤尘特征;σ2为煤尘特征标准单位方差;为规范化的Z(i);ε用来稳定数值,防止σ=0的情况,通常取为第i层的煤尘特征通过BN层后得到的煤尘特征;γβ为一组可学习的重构参数,为了不让隐藏单元总是含有平均值0和方差1,针对H×W个特征图设置相应的H×W个模型的学习参数对(γβ),通过梯度下降法、动量算法更新参数对(γβ),使得构造含其他平均值和方差的隐藏单元。由于每张煤尘特征图只会产生一对学习参数(γβ),保证U-Net网络在每次提取煤尘颗粒特征过程中参数数量缩小H×W倍,限制参数的搜索空间,使得参数的搜索更加容易,增强了改进U-Net网络对超参数选择的稳定性[14]

BN层不仅可以减少网络参数数量,而且有利于网络训练速度的改善[15]。如图3所示,L1为初始化权重参数得到的分界线,L2为网络训练得到的拟合直线,图3(a)中未加入BN层,分界线 L1经过训练不断调整才可到达L2位置,而加入BN层后数据均值为0,方差为1,得到图3(b)的圆形分布,这使得L1在训练前已穿过数据,只需少量的训练和调整便可到达L2位置,因此网络训练速度会显著提升。

图3 BN层对训练时间的影响
Fig.3 Influence of BN layer on training time

1.3 压缩激活模块对煤尘特征的提取

卷积实际上是对局部区域进行的特征融合。 这也导致了普通卷积神经网络的感受野不大,如考虑设计更多通道特征增加感受野,会导致计算量大大增加。因此为了空间上融合更多特征,提取多尺度空间信息[16]。卷积操作对输入特征图的所有通道进行融合。而SE可以有效关注通道之间的关系,确保模型可以自动学习到不同通道特征的重要程度。HU Jie等[17]提出SE模块是对各个通道进行权重的分配,类似注意力机制[18],帮助网络快速学习到重要的特征信息。本文将SE模块与BN层结合使用,能够使网络获取更多的煤尘特征信息,SE模块对煤尘特征提取的过程如图4所示。

图4 SE模块对特征提取过程
Fig.4 Processing of coal dust feature extraction with SE module

SE模块能够对煤尘图像集输入信息进行构造,用于卷积映射Fconv:XU,其中XRW′×H′×CURW×H×C。设V=[v1,v2,…,vc]为学习的卷积核集合,vc为第c个卷积核参数,卷积操作Fconv的输出表示为:U=[u1,u2,…,uc],计算公式为

(5)

其中,*操作符为卷积操作,为了简化符号表示,此处ucvc两个符号解释省略了偏置项参数);s为第s个通道,xs为第煤尘特征图中第s个通道对应的特征;为三维空间卷积核;vc为它的每个通道作用于X对应通道的特征图。因为如上所示的输出是由所有通道之和产生的,通道之间的依赖关系隐藏在vc中,但这些依赖关系也和卷积核捕捉的特征图组空间关系相纠缠。

为了达到对通道之间的依赖关系进行精确建模以校准卷积核操作,通过SE模块进行压缩和激活2个操作。操作1:压缩,即通过全局平均池化操作对BN层获得的煤尘特征输出Z(i)进行压缩,将大小为C×H×W的煤尘特征压缩为C×1×1的实数数列,压缩操作的目的是扩大感受野[19],使网络低层也能利用全局信息,经过压缩操作得到煤尘特征Zc:

(6)

其中,Yc为大小为W×H的特征映射上第c个二维原始特征矩阵;ij为特征图在空间维的坐标;操作2:激活,旨在抓取各个通道之间的关系,此操作需满足2个准则:学习各个通道之间的非线性交互关系;学习非互斥关系。与独热编码相反,激活操作允许强调多个通道,并采用ReLU激活方式,得到大小为C×1×1的通道激活值Sc:

Sc=Fex(Zc,Q)=σ(Q2ReLU(Q1Zc))

(7)

其中,Q为权重参数,在降维和升维过程中分别具体化为Q1为提高模型的简洁度和泛化能力,引入2个全连接层,在第1个全连接层中通过降维层参数Q1Zc进行降维,经过1个ReLU激活函数将煤尘特征传递给第2个全连接层,通过升维参数Q2使得煤尘特征恢复原始的维度,将ScYc相乘得到压缩激活后的煤尘特征

(8)

由于SE网络模型的结构是通过SE模块的不断堆叠实现,且在网络中任意深度位置完成插入替换以适应网络模型需求。通过模型验证,模型结构中SE参模块的引入,使得参数数量增加有限,但网络性能得到较好提升,通过学习煤尘特征图各通道之间的相互依赖性可自适应地重新校正准通道方面的特征响应,从而学习到更为有用的煤尘特征并抑制多余特征。

卷积神经网络的复杂度包含时间复杂度和空间复杂度[20],从卷积神经网络整体时间复杂度表达式:可以看出时间复杂度由卷积层层数D、每层输出特征图面积每层卷积核面积每层输入通道数Cl-1和输出通道数Cl完全决定,而空间复杂度与卷积核尺寸和通道数相关。BN层和SE模块的引入对上述各参数产生的影响有限,从而对于网络模型复杂度、计算量及计算时间各方面未形成不利因素。因此,二者结合有利于改善U-Net网络结构、提升网络对煤尘图像的分割性能并提高网络训练速度。

1.4 二值交叉熵及合页协同损失函数

在二分类语义分割任务中,默认使用的损失函数为二值交叉熵损失函数JB,公式为

(9)

其中,N为像素点总数;pi为像素点i的实际标签;di为网络对像素点i的预测分类值。在反向传播的过程中,二值交叉熵损失函数能够稳定返回每一类别所对应的梯度值,有效避免梯度消失问题,但同时会对图像上的每一个类别都平等地进行评估,因此对于存在类别不平衡问题的图像,通过二值交叉熵损失函数得到的返回梯度值意义较小,容易改变网络的优化方向,影响分割结果。另1种用于二分类的损失函数为合页损失函数JH,常用于支持向量机分类,公式为

(10)

合页损失对预测错误或置信度不高的预测结果都会给予惩罚,因此该损失函数能够保证最终所得预测正确且置信度值较高。

本文结合2种损失函数的特点,提出二值交叉熵及合页协同损失函数LC:

LC=θJB+(1-θ)JH

(11)

其中,θ为调节2种损失函数比重的参数,该协同损失函数避免反向传播中梯度消失的问题,缓解煤尘图像分割任务中的颗粒特征类别不平衡,并确保输出特征获得较高的预测值置信度。

2 实验仿真及分析

2.1 煤尘样本图像数据集

样本采集点选择选煤厂的原煤煤仓、原煤破碎站、筛分破碎车间、跳汰车间、产品煤仓和输煤走廊。在6个产尘场所设置固定煤尘采样器,通过采样器内采样头上安装的纤维滤膜,采集煤尘颗粒样品。在实验前将每组颗粒样本放入60 ℃恒温干燥箱中干燥24 h以上,并打好样本标签。然后进行图像采集,图像采集系统由Leica S 9D体视显微镜和台式电脑组成,通过ImageView软件和与体视显微镜相连接的数字摄像头对采集好的煤尘样本进行拍照,并将图片信息保存为未压缩的TIF格式文件。经对原始图像数据筛选后,所组成的数据集包含了6组图像,每组数据集包含80张训练图像,10张验证图像和20张测试图像,具有红绿蓝3个通道,图片尺寸大小为3 072 pixel×2 048 pixel,扫描精度为600 dpi。考虑到显存大小的限制,将每张图像用512 pixel×512 pixel的滑窗进行裁剪,每张原始图像产生24张小图像,相邻图像无像素重叠,最终每组中训练集、验证集和测试集分别包含1 920,240和480张图像。

2.2 评估指标选取

为对煤尘图像分割结果进行评估,本文选择经常用于深度学习神经网络性能评估的3个指标:召回率(R)、准确度(P)、F1分数(F1)。

(12)

(13)

(14)

其中,召回率R表示样本数据中的正例被网络预测正确的概率;准确度P表示网络预测为正的结果中为真的概率;F1分数可以视为召回率R与准确度P的一种调和平均。上述指标值越大代表网络分割结果越好。

2.3 实验分析

煤尘特征识别仿真实验平台环境选取Windows10操作系统,采用Intel(R)Core(TM)i7-7700HQ的处理器,主频2.80 GHz,内存16 GB,深度学习搭建框架选取Kears,软件编程以Python3.7作为平台,GPU为NVIDIA GeForce GTX 1070。

2.3.1 不同煤尘颗粒分割方法的对比

实验对FCN[21],SegNet[22],DeepLab[23],SENet,U-Net和Unet-SE六种网络进行训练,其中FCN,SegNet,DeepLab具有典型深度学习机制,可考虑用于边界模糊、梯度复杂、需要较多模块集合的重复叠加,属于轻量级网络,可完成自主学习并获取各特征通道的重要程度,同时提取更重要的特征并抑制对当前任务作用不大的特征。Unet-SE是在U-Net的通道维度拼接融合的结构基础上加入SENet中的SE模块,在U-Net保证以维度拼接形成更厚的特征同时,还可继承SENet自主学习重要特征的核心特点,因此可显著提高U-Net网络的特征学习能力。

通过煤尘样本测试集分别对上述模型进行性能测试,表1给出各网络通过测试集训练后的性能指标。分析表1发现,FCN,SegNet, DeepLab以及SENet的F1数值较低,这是由于4种网络对网络编码器提取的特征,只通过上采样操作将其恢复为输入图像尺寸,而未对多尺度特征的像素定位和分类之间的相关性进行学习,因此获得的实验结果较为模糊。而U-Net与Unet-SE网络添加了跳跃连接,将提取到的底层简单特征和高层抽象特征相融合,有效的帮助网络得到更准确的分割结果。从表1中可以看到,Unet-SE的准确率、召回率及F1分数分别达到0.873 2,0.843 4和0.858 0,与U-Net网络相比,训练时间相对缩短,分割结果明显提升。 效果的改善主要是因为Unet-SE网络中加入BN层能有效地统一训练数据的分布,从而提升网络性能;SE模块的引入可帮助网络对于重要的特征信息快速学习,扩大其感受野,增强网络对特征的利用并提高对颗粒的学习能力。

表1 不同网络学习性能指数对比
Table 1 Comparative analysis for evaluation indexes of each network

NetTraining time/sPRF1SegNet1 5270.832 20.756 70.792 7FCN1 2400.828 00.790 50.808 8DeepLab1 3890.826 30.808 10.817 1SENet1 2970.830 70.813 90.822 2U-Net1 0520.854 00.802 30.827 3Unet-SE9080.873 20.843 40.858 0

图5给出运用6种网络模型对不同粒径的煤尘颗粒特征进行提取的结果对比,3行图像分别对应粒径范围R≤35 μm,35<R≤200 μm及R>200 μm的煤尘颗粒样本。图5(a)表示输入网络的煤尘样本颗粒图,通过观察图5(b)~(d)可以发现FCN,SegNet以及DeepLab三种网络对煤尘颗粒图像分割时,背景区域产生了许多噪点,分割结果较为粗糙;图5(e)为SENet网络的分割结果,图中产生更多噪点,但煤尘颗粒中仅缺失少量的煤尘信息,产生的黑色区域较少,相较前3种网络对煤尘区域的还原度更高、分割结果更好;图5(f)为U-Net网络分割结果,观察发现网络虽然能较好地还原煤尘颗粒的尺寸,但其成像较为“模糊”,尤其是轮廓部分成色较淡,可能是由于U-Net学习到部分不重要的特征,导致所学特征并未很好地表达煤尘信息;通过图5(g)发现本文提出的Unet-SE能有效区分煤尘颗粒和背景信息,煤尘内部未出现黑色区域,也未生成噪点,并且煤尘颗粒成像更为清晰,对颗粒轮廓预测较为准确,得到较好的煤尘分割结果。煤尘采样过程中,由于煤尘成分结构不同而产生的像素与背景灰度差异较小的“白煤尘”颗粒。通过实验分析,给出不同网络模型对“白煤尘”颗粒的学习效果,如图6所示。 由图6(b)分析得出FCN网络能绘制出该颗粒的部分轮廓,但仍无法较好区分颗粒与背景;图6(c)的SegNet与图6(d)的DeepLab两种网络对“白煤尘”颗粒识别能力较弱;图6(e)的SENet网络能够绘制出“白煤尘”颗粒的大部分区域,但对其边缘信息的识别结果较差,使颗粒边界存在残差,其识别效果相对前3种网络有所改善;图6(f)的U-Net网络对“白煤尘”颗粒的大部分信息可以识别,但其成像较为“模糊”,且煤尘边缘较为光滑,相比原图存在轻微失真;图6(e)中Unet-SE网络可以较好地定位并清晰地分割“白煤尘”颗粒,对颗粒轮廓信息能得到较为完整的识别结果,且颗粒边界比较接近原图颗粒边界形状。综上所述,改进后的Unet-SE模型与其他模型相比,能有效增强灰度不均的“白煤尘”颗粒的细节信息,同时表现出良好的特征信息提取能力。

图5 不同模型分割结果对比
Fig.5 Segmentation comparison of different models

图6 “白煤尘”颗粒学习效果对比
Fig.6 Learning effects comparison of light coal dust particles

2.3.2 不同损失函数的对比

为研究不同损失函数对网络分割性能的影响,针对二值交叉熵损失函数(Binary Cross-Entropy Loss Function,BCE Loss)、合页损失函数(Hinge Loss Function,Hinge Loss)和二值交叉熵及合页协同损失函数(Binary Cross-Entropy-based Hinge Collaborative Loss,BCE-H Loss)进行实验对比。U-Net与Unet-SE在3种不同损失函数下的煤尘颗粒分割结果见表2。从表2结果可以看出, BCE-H Loss函数是对BCE Loss和Hinge Loss函数的融合,能够促进网络在反向传播过程中对学习难度大的样本颗粒实现稳定的优化,解决梯度消失及类别不平衡的问题,有效提升网络分割性能,对煤尘颗粒达到最优提取效果。

表2 不同损失函数下网络的分割结果
Table 2 Results of networks on different loss

指标LossU-NetUnet-SEBCE0.831 90.843 1PHinge0.826 60.865 4BCE-H0.854 00.873 2BCE0.792 10.839 2RHinge0.793 40.841 8BCE-H0.802 30.843 4BCE0.811 50.841 1F1Hinge0.809 70.853 4BCE-H0.827 30.858 0

此外,试验记录了FCN,SegNet,DeepLab,SENet,U-Net和Unet-SE 六个网络训练过程中的协同损失函数数值(每5次训练记录1次数值),仿真结果如图7所示。从图中曲线分析可知,SegNet与SENet的损失曲线变化趋势较为接近,两者收敛速度相对较慢,在20次训练之后SegNet的损失值开始在1.5~2.0波动,最后停留在1.7附近,而SENet损失值相对SegNet较低,在40次训练后逐渐逼近1.3;FCN网络损失值在20次训练之前较快收敛于1.0,之后迅速回弹至2.3左右,30次训练后缓慢下降,并逐渐趋于稳定值1.2;DeepLab网络训练至20次,其损失值快速降至0.8附近,训练40次时损失值上升至1.4,最后缓慢减少至0.8左右;U-Net损失曲线变化趋势与DeepLab大致相同,损失值相对较低,最终减少至0.7附近;而Unet-SE网络的损失值起点较低,在第15次训练之前迅速收敛至0.3左右,之后损失值缓慢下降,在50次训练之后逐渐逼近于0。这主要是因为BN层对特征的归一化作用与SE模块对煤尘特征的压缩激活作用改善U-Net网络性能,得到更小的损失值和更高的精确度。

图7 二值交叉熵及合页协同损失曲线对比
Fig.7 Binary cross-entropy-based hinge collaborative loss curves comparison

2.3.3 不同场所煤尘污染程度分析

实验过程中,为观察分析煤尘颗粒对各个产尘现场的污染程度,运用八邻域算法检测各产尘现场分割结果图中的煤尘颗粒面积。算法的具体步骤如下:首先用“1” 表示煤尘分割结果图中的煤尘颗粒信息,“0”表示背景信息,则整个煤尘图像可视为由“0”和“1”组成的点阵图像如图8所示。同时通过表3所示算法评估煤尘颗粒参数,其中p(i,j)为图片每一个像素点值,num为记录煤尘颗粒的数目,数组Area(num)为第num个煤尘颗粒面积。表3算法的判别过程如下:从左到右、由上至下遍历每一个像素点,判断其像素值是否为0。若该点为0,扫描下一个点;若该点为1,则判断该点左方顺时针至右上方相邻4个点是否为0。若都为0,则颗粒数num与该颗粒面积Area(num)加1,即该点为一个独立的煤尘颗粒;若该点像素值为1,且4个相邻点中n个点为1,则num加1,且该颗粒面积Area(num)加n,即该点与n个像素值为1的点属于同一颗粒。最后根据面积比公式推导出煤尘颗粒占比值c:

表3 八邻域算法颗粒参数评估
Table 3 Eight-neighbor particle parameter evaluation

八邻域算法 Input: p={p(i,j)}H,Wi=1,j=1 Output:num,Area(num), c for (i,j)in(H,W): if p(i,j)=0: Continue elseif (p(i,j)=1)∩each of{p(i,j-1),p(i-1,j-1),p(i-1,j-1), p(i+1,j+1)}=0: num Area(num)+=1 else if (p(i,j)=1)∩ of{p(i,j-1),p(i-1,j-1),p(i-1,j-1),p(i+1,j+1)}=1:num+=1,Area(num)+=n

图8 煤尘颗粒点阵
Fig.8 Lattice diagram of coal dust particles

(15)

该占比值可反映煤尘样本图中煤尘颗粒所占百分比情况,可用于分析产尘场所煤尘质量浓度情况。

在各个产尘场所中,由于粒径小于35 μm的煤尘颗粒,质量较轻,易悬浮于空气之中[24],对人体的伤害最大;粒径在35~200 μm的煤尘颗粒质量较大,在重力作用下会附着在设备表面或其他工作表面[25-26],但在振动作用下会产生二次扬尘,该粒径范围的颗粒易造成煤尘爆炸事故;粒径大于200 μm的煤尘颗粒质量相对较大,可在重力作用下降尘,在空气中悬浮时间较短。因此试验中将煤尘按照粒径不同分为R≤35 μm,35<R≤200 μm及R>200 μm 三个组别,先对每个产尘场所采集的煤尘样本的颗粒面积进行记录,仿真结果如图9所示,再对每个场所的煤尘颗粒占比值进行统计,见表4。

表4 产尘场所颗粒占比值对比
Table 4 Contrast of particle proportion in dust producing fields

产尘场所粒径范围/μm煤尘颗粒数目/个颗粒占比/%原煤煤仓(1)R≤35352002831372717.3528.2244.45原煤破碎站(2)R≤35352002381042519.0131.9533.78筛分破碎车间(3)R≤35352001881012222.4125.3428.76跳汰车间(4)R≤3535200196872027.6824.3222.33产品煤仓(5)R≤3535200173671630.0820.5517.87输煤走廊(6)R≤3535200206971928.3016.1620.34

图9 各产尘场所不同粒径范围内煤尘的颗粒评估
Fig.9 Evaluation of particle with different particle size in different dust producing fields

在6个产尘场所环境下,通过对获取的煤尘图像样本分析,粒径小于35 μm的煤尘颗粒数均值分别为283,238,188,196,173和206个,对应占比分别为17.35%,19.01%,22.41%,27.68%,30.08%和28.30%,说明该粒径范围的煤尘颗粒在整个生产环节中浓度逐渐增加,对人体的危害程度也在逐渐增大;随着粒径的增大,颗粒面积随之增加,粒径35<R≤200 μm的煤尘颗粒占比分别为28.22%,31.95%,25.34%,24.32%,20.55%和16.16%,另外粒径R>200 μm的煤尘颗粒占比和分别为44.45%,33.78%,28.76%,22.33%,17.87%和20.34%,表明随着生产环节后移,这2个粒径范围内的煤尘颗粒质量浓度逐渐降低,生产设备故障以及煤尘爆炸事故易发生在靠前的生产车间即原煤煤仓与原煤破碎站。其中原煤煤仓车间煤尘颗粒数目为447个,煤尘总占比达90%,粒径R>200 μm的煤尘颗粒占比达44.45%;原煤破碎站煤尘颗粒数目为367个,煤尘总占比达84.74%,粒径R>200 μm的煤尘颗粒占比达33.78%,明显高于其他4个场所,对于这2个场所应提高煤尘质量浓度监控工作的效率以及频率,以预防煤尘爆炸等恶性事件的发生。此外,对于煤尘粒径小于35 μm的场所如产品煤仓,应提高通风降尘的频率,以减少煤尘对人体健康的伤害。

3 结 论

(1)本文所提协同损失函数相对二值交叉熵及合页损失函数能同时有效解决样本类别不平衡和网络方向传播中梯度消失的问题,并使得网络得到信度值较高的预测结果,提升网络在煤尘图像数据集上的运行效率和分割性能。

(2)Unet-SE对煤尘特征提取在准确率、召回率以及F1分数3个指标分别达到0.873 2,0.843 4和0.858 0,优于FCN,SegNet,DeepLab,SENet网络,U-Net网络,并在原U-Net网络的基础上性能有较大提升,有效训练时间相对缩短,对煤尘颗粒图像分割过程中产生的 “溢出”和“模糊”痕迹显著减少,针对不同形状及粒径的颗粒类别学习效果表现较优。

(3)Unet-SE提取样本颗粒的有效特征,可降低图像噪音干扰、平衡颗粒灰度以及提升边缘清晰度,对形成的 “白煤尘”颗粒特征也具有较优的提取效果。优化的特征压缩激活U-Net网络有效提升煤尘图像的语义分割性能,协同损失函数对Unet-SE网络的运行效率具有积极效应。

参考文献(References):

[1] LUO Yi,WANG Deming,CHENG Jianwei.Effects of rock dusting in preventing and reducing intensity of coal mine explosions[J].International Journal of Coal Science & Technology,2017,4(2):102-109.

[2] DU Plessis J J L.Active explosion barrier performance against methane and coal dust explosions[J].International Journal of Coal Science & Technology,2015,2(4):261-268.

[3] 李庆钊,林柏泉,张军凯,等.矿井煤尘的分形特征及对其表面润湿性能的影响[J].煤炭学报,2012,37(S1):138-142.

LI Qingzhao,LIN Boquan,ZHANG Junkai,et al.Fractal characteristics of particle size distribution and its effects on the surface wetting performance of coal mine dusts[J].Journal of China Coal Society,2012,37(S1):138-142.

[4] 魏明生,童敏明,梁良,等.矿井煤尘粒度和浓度实时在线检测系统实验研究[J].煤矿安全,2016,47(5):30-33.

WEI Mingsheng,TONG Minming,LIANG Liang,et al.Experimental study on mine coal dust particle size and concentration real-time online monitoring system[J].Safety in Coal Mines,2016,47(5):30-33.

[5] 景明明,韩东志.基于伯努利效应在煤尘检测通道的实现研究[J].价值工程,2019,38(9):87-89.

JING Mingming,HAN Dongzhi.Research on the realization of coal dust detection channel based on bernoulli effect[J].Value Engineering,2019,38(9):87-89.

[6] 曹恒将.不同浓度煤尘云爆炸前后微观结构分析[J].煤炭技术,2019,38(6):92-95.

CAO Hengjiang.Simulation study on gas control scheme of upper corner in tenghui coal mine[J].Coal Technology,2019,38(6):92-95.

[7] 张伟,隋青美.基于小波变异本质粒子群和模糊熵的图像分割[J].光电子·激光,2010,21(8):1264-1268.

ZHANG Wei,SUI Qingmei.Image segmentation based on wavelet mutation bare bones particle swarm optimization and fuzzy entropy[J].Journal of Optoelectronics Laser,2010,21(8):1264-1268.

[8] 童敏明,魏明生,郝继飞.基于改进同步迭代算法的矿井煤尘检测[J].自动化与仪表,2012,27(2):6-8,52.

TONG Minming,WEI Mingsheng,HAO Jifei.Coal dust detection based on improved simultaneous iterative reconstruction technique[J].Automation & Instrumentation,2012,27(2):6-8,52.

[9] BRENDAN J Florio,PHILLIP D Fawell,MICHAEL Small.The use of the perim-eter-area method to calculate the fractal dimension of aggregates[J].Powder Technology,2019,343(2):551-559.

[10] 钟思华,郭兴明,郑伊能.改进U-Net网络的肺结节分割方法[J].计算机工程与应用,2020,56(17):203-209.

ZHONG Sihua,GUO Xingming,ZHENG Yineng.Improved U-Net network for lung nodule segmentation[J].Computer Engineering and Applications,2020,56(17):203-209.

[11] 向阳,赵银娣,董霁红.基于改进UNet孪生网络的遥感影像矿区变化检测[J].煤炭学报,2019,44(12):3773-3780.

XIANG Yang,ZHAO Yindi,DONG Jihong,Remote sensing image mining area change detection based on improved Unet siamese network[J].Journal of China Coal Society,2019,44(12):3773-3780.

[12] SEVASTOPOLSKY A.Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network[J].Pattern Recognition and Image Analysis,2017,27(3):618-624.

[13] SERGEY Loffe,CHRISTIAN Szegedy.Batch normalization:Accelerating deep network training by reducing internal covariate shift[A].International conference on machine learning[C].Lille,2015:448-456.

[14] KIKUO Harigaya.Calculations of electric capacitance in carbon and BN nanotubes,and zigzag nanographite (BN,BCN) ribbons[J].Physica E:Low-dimensional Systems and Nanostructures,2005,29(3-4):628-632.

[15] 王曌.面向道路场景理解的语义分割方法研究[D].西安:西安电子科技大学,2018.

WANG Zhao.Research on sematic segmentation method for road scene understanding[D].Xi’an:Xidian University,2018.

[16] 刘学平,李玙乾,刘励,等.嵌入SENet结构的改进YOLOV3目标识别算法[J].计算机工程,2019,45(11):243-248.

LIU Xueping,LI Yuqian,LIU Li,et al.Improved YOLOV3 target recognition algorithm with embedded SENet Structure[J].Computer Engineering,2019,45(11):243-248.

[17] HU Jie,LI Shen,GANG Sun.Squeeze-and-excitation networks[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Salt Lake City,2018:7132-7141.

[18] 廖文雄,曾碧,徐雅芸.结合一维扩展卷积与Attention机制的NLP模型[J].计算机工程与应用,2021,57(4):114-119.

LIAO Wenxiong,ZENG Bi,XU Yayun.Natural language processing model based on one-dimensional dilated convolution and attention mechanism[J].Computer Engineering and Applications,2021,57(4):114-119.

[19] MATSUMOTO Akihiro,TACHIBANA Masao.Corrigendum:Global jitter motion of the retinal image dynamically alters the receptive field properties of retinal ganglion cells[J].Frontiers in Neuroscience,2020,14.

[20] HE Kaiming,JIAN Sun.Convolutional neural networks at constrained time cost[A].Proceedings of the IEEE conference on computer vision and pattern recognition[C].Boston,2015:5353-5360.

[21] ZHOU Hao,ZHANG Jun,JUN Lei,et al.Image semantic segmentation based on FCN-CRF model[A].2016 International Conference on Image,Vision and Computing (ICIVC)[C].IEEE,2016.

[22] BADRINARAYANAN Vijay,KENDALL Alex,CIPOLLA Roberto.SegNet:A deep convolutional encoder-decoder architecture for scene segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495.

[23] CHEN Liang-chieh,PAPANDREOU George,KOKKINOS Iasonas,et al.DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2018,40(4):834-848.

[24] 奚志林,李晶,范冰倩.泡沫溶胶抑制静态煤尘特性及其应用技术的试验研究[J].煤炭学报,2015,40(S1):126-131.

XI Zhilin,LI Jing,FAN Bingqian.Experimental study on the characteristics of static coal dust suppression by foam-sol and its application[J].Journal of China Coal Society,2015,40(S1):126-131.

[25] 高建川.屯兰选煤厂煤尘治理研究与实践[J].煤炭科学技术,2016,44(8):199-202,213.

GAO Jianchuan.Study and practices on coal dust control in Tunlan coal preparation plant[J].Coal Technology,2016,44(8):199-202,213.

[26] 张志文.西山煤电西铭矿选煤厂煤尘污染源设备的防尘改进[J].机械管理开发,2019,34(11):301-302.

ZHANG Zhiwen.Dust-proof improvement of coal dust pollution source equipment in Ximing coal preparation plant[J].Mechanical Management and Development,2019,34(11):301-302.

Feature extraction of coal dust particles based on U-Net combined with squeeze and excitation module

WANG Zheng,ZHANG Helin,LI Dongyan

(College of Electrical and Control Engineering,Xian University of Science and Technology,Xian 710054,China)

Abstract:To study the inherent mechanism of image characteristics of coal dust particles,a convolutional neural network U-Net combined with squeeze-and-excitation is proposed for carrying out semantic segmen-tation of particle images.The sample data information includes 1 500 coal dust images in six working faces captured from coal preparation plant.Firstly,the image data sets are built with the dust particles by spot sampling and as inputs transmitted to the segmentation network.Secondly,the left-half network is achieved with batch normalization,squeezing and exciting the coal dust features.The obtained features are transferred to the right-half network to up-sample for recovering the image size of particle feature,thus the binary classification of particles is completed.Finally,the binary cross-entropy based hinge collaborative loss function is applied to train the network,which can alleviate classification imbalance in segmentation task.The simulation experiments are carried out in three steps as below:① Simulating through experiments to evaluate the performance of binary cross-entropy-based hinge collaborative loss function on network segmentation;② The performance comparison of the proposed network with other conventional image extraction approaches,such as FCN,SegNet,DeepLab,SENet,U-Net network,are evaluated and the feature information extraction ability of Unet-SE network is verified;and ③ The eight-neighbor algorithm is proposed to locate and label the particles and extract the particle proportion characteristic parameters.The research results show that the binary cross-entropy based hinge collaborative loss function can get better segmentation effect,and the improved Unet-SE network has a better learning effect on the particle classification with different shapes and sizes.The performance indexes of accuracy,recall rate and F1 scores increase to 0.873 2,0.843 4 and 0.858 0 respectively.It can achieve more accurate extraction,faster training time,and more detailed particles feature acquisition.

Key words: image feature extraction;U-Net;squeeze excitation;convolution neural network;collaborative loss function

中图分类号:TD76

文献标志码:A

文章编号:0253-9993(2021)09-3056-10

移动阅读

收稿日期:2020-05-15

修回日期:2020-07-10

责任编辑:郭晓炜

DOI:10.13225/j.cnki.jccs.2020.0849

基金项目:国家自然科学基金资助项目(51804249)

作者简介:王 征(1978—),女,河北固安人,讲师,博士。E-mail:wendy7830@xust.edu.cn

引用格式:王征,张赫林,李冬艳.特征压缩激活作用下U-Net网络的煤尘颗粒特征提取[J].煤炭学报,2021,46(9):3056-3065.

WANG Zheng,ZHANG Helin,LI Dongyan.Feature extraction of coal dust particles based on U-Net combined with squeeze and excitation module[J].Journal of China Coal Society,2021,46(9):3056-3065.