煤矸分选机器人图像识别方法和系统

李 曼1,段 雍1,曹现刚1,刘长岳2,孙凯凯1,刘 浩1

(1.西安科技大学 机械工程学院,陕西 西安 710054; 2.陕西煤化韩城矿业有限公司,陕西 韩城 715400)

摘 要:现有煤矸分选主要有人工分选和机械分选,这些方式存在劳动强度大、能耗高、易造成环境污染等问题。对煤矸分选机器人而言,煤矸的准确识别是一个关键且具有较大难度的问题。研究了基于图像的煤矸识别方法,并在此基础上开发了识别系统。介绍了煤矸分选机器人中图像识别系统的硬件组成,研究了实际工况条件下各部件的选择和安装方式;在实验室搭建图像采集系统,选取韩城矿区的煤和矸石为样本,由所搭建的系统获取样本图像,建立了样本图像库;对样本图像采用3种不同的滤波器进行降噪处理,对比分析得出非线性低通滤波处理效果最佳;基于煤和矸石表面物理特性在灰度和纹理两方面有一定的区别,分别对煤和矸石样本图像的4个灰度参数和5个纹理参数进行分析对比,得出在灰度方面灰度均值和最大频数对应的灰度值2个参数区分度更高,在纹理方面纹理对比度和熵2个参数区分度更高;选用最小二乘支持向量机(LS-SVM)为煤和矸石图像识别分类器,以灰度均值和最大频数对应的灰度值组成的灰度特征、纹理对比度和熵组成的纹理特征、最大频数对应的灰度值和纹理对比度组成的联合特征作为分类器的输入向量分别对分类器进行训练和对比验证,得到以联合特征进行训练的分类器识别效果更好;以LABVIEW为平台开发了包括图像采集、图像滤波、联合特征向量的提取、样本分类等程序。在煤矸分选机器人实验平台上搭建了识别系统,随机选取实际工况下的煤和矸石样本,对识别系统分类性能进行测试,系统图像降噪采用非线性低通滤波器,分类采用联合特征训练的分类器。测试结果显示煤和矸石分类准确率分别为90.3%和83.0%,平均识别时间为0.153 s。

关键词:煤矸识别;灰度;纹理;最小二乘支持向量机;LABVIEW

煤矸分选是煤炭生产的重要工作之一,传统的人工分选具有劳动量大、效率低、粉尘多、对人体危害等问题。随着选煤技术的不断进步,人工操作已逐渐被自动分选设备替代[1-4]。目前国内外应用较为成熟的煤矸自动分选设备主要采用γ和X射线检测法。γ射线检测法根据γ射线穿过煤和矸石时衰减量的不同来识别煤和矸石[5],X射线法是根据煤和矸石对射线吸收量的不同来进行识别的,用高压气阀喷嘴作为执行机构,通过高压气流将矸石分离[6]。该类分选设备,由于煤和矸石下落时间快,对系统执行速度提出了较高的要求,并且射线法易受煤矸含水量的影响,同时还存在射线探测部分环保要求较高,执行部件准确率不高,容易故障等缺点。

近年来,煤矸分选机器人的研究已成为选煤自动化生产的重要课题,其中煤矸的准确识别是实现机器人分选的首要任务。针对这一问题,国内外不少研究人员从图像分析或视觉计算的角度对煤矸识别进行了研究,文献[7-9]通过对煤和矸石的灰度和纹理信息进行分析,得到了较为准确的分类结果,但是这些识别方法的特征提取相对单一,在实际生产环境中准确度易受影响。文献[10-14]对煤矸识别提出了一些新的方法,能得到较好的煤矸识别率,但是都存在识别过程中耗时长、算法复杂、对硬件要求较高等问题。文献[15]将原煤的表面分为4种类型,通过特征递归剔除方法找出了图像的最优特征子集,得到了一种效果波动小,准确率较高的煤矸识别方法,但在矸石中煤含量过高时,此方法有失效的可能性。文献[16]提出了一种将PCA算法用于识别传送带上油石的算法,实现了对油石区域的检测,但是当油石的密度过大时,油石的定位准确度变差,使识别受到影响。目前,基于虚拟仪器技术的机器视觉因其开发周期短、兼容性广、图形化编程、系统可视化等优点已经应用于各行各业[17]。该技术在煤炭生产中,如采煤机自动调高,矿井提升机系统的监测及煤泥浮选等方面均有研究[18-20],但在煤矸分选机器人中此技术的应用并不多见。

笔者以陕西韩城矿区的煤和矸石为分类对象,确定了适于该类样本图像的降噪处理方法,得到了其灰度和纹理特征中区分度较高、利于识别的相关参数。以LS-SVM为分类器,通过对不同输入向量的训练和对比分析,得到了以灰度特征参数中最大频数对应的灰度值和纹理特征参数中的对比度为联合输入向量,该分类器识别效果更好。随机样本图像识别验证结果表明本系统对实际工况下的煤和矸石基本可实现快速、准确的识别。

1 图像获取及处理

1.1 图像采集系统硬件平台

煤矸分选机器人作为一种新的选煤设备,主要由图像识别系统、控制系统、分拣系统等组成,其主要组成如图1所示。

图1 煤矸分选机器人模型
Fig.1 Model of coal and gangue sorting robot

图像识别系统作为煤矸分选机器人的首要环节,直接影响煤矸分选效果。图像识别系统的硬件主要由相机、光源、工控机等构成。相机是图像采集中的一个关键部件,相机的选择决定了所采集图像的分辨率、图像质量等,关系到整个系统的识别效果。煤矸分选机器人的图像采集相机选择需考虑物料运输带式输送机运行速度、胶带宽度,煤和矸石的粒度大小等因素。镜头采用具有自动对焦功能的高清摄像头,安装时相机与带式输送机分离,这样可以在一定程度上避免胶带振动对图像采集的影响。选择满足采集视场范围的相机,调整相机与胶带的安装距离,以获得较全面的拍摄覆盖角度。图像的灰度和纹理信息是区分煤和矸石的主要特征量。在不同光照强度下,煤和矸石的灰度特征和纹理特征会随之改变,这就导致了特征向量的提取具有不确定性,但在相同照度下,煤和矸石的灰度和纹理特征具有较为稳定的差异[21]。《选煤厂安全规程》规定地表水平面手动选矸地点光照强度不小于30 lux,根据光照强度的要求以及结合实际煤矸分选环境,图像识别系统光照采用自然光加LED补偿光源,以保证获得较好的光照条件。

1.2 图像获取

在实验室搭建图像采集系统,获取训练样本图像,系统实物如图2所示。上位机为研华610L工控机,相机选用罗技C920,其分辨率为1 920×1 080,每秒采集帧数为30 fps,工控机与相机采用USB总线方式连接,光照采用自然光加LED补偿光源,光照强度在70~120 lux。

图2 图像采集系统
Fig.2 Image acquisition system

笔者以韩城矿区桑树坪2号矿井的煤和矸石为分类对象,该矿区煤和矸石主要为瘦煤和页岩。选取300个煤矸样本进行图像采集,得到煤炭样本图片150张,矸石样本图片150张。为了节省存储空间以及提高样本训练及识别的效率,对每张图片提取具有代表的区域并进行编辑,处理后的图像大小为200×200,部分样本图片如图3所示。

图3 样本图像
Fig.3 Images of coal and gangue samples

1.3 煤矸图像处理

煤矸分选作业工况条件比较恶劣,采集的图像会受到灰尘、光线、设备振动等因素的影响。为了保证图像一定的清晰度,需要对原始图像进行处理。选取3×3,5×5,7×7 三种窗口尺寸,采用高斯、低通和中值3种滤波器对图像进行降噪处理,处理前后图像对比如图4所示。

图4 3种滤波方式处理结果
Fig.4 Three filtering methods are used to process the results

由图4可看出,滤波时窗口尺寸越大,图像越模糊,滤波窗口尺寸为3×3时,图像最为清晰,去噪效果最好,因此确定3×3为最佳滤波窗口尺寸。采用最小化平方误差(MSE)和峰值信噪比(PSNR)对降噪效果进行评价。最小化平方误差反映了图像处理前后的变化程度,其表达式为

(1)

式中,样本图像的大小为M×N;P(i,j)为原图像在(i,j)位置的像素值;B(i,j)为滤波降噪后图像在(i,j)位置的像素值。

峰值信噪比反映了图像信噪比变化的统计平均,是一种衡量图像主观质量的方法,值越大代表图像失真越小,其表达式为

(2)

以3×3为窗口尺寸对3种滤波器滤波效果进行对比,由表1,图5可知,相比较于高斯滤波器和中值滤波器,非线性低通滤波器的最小化平方误差更低,而峰值信噪比更高,对于样本图像的滤波效果最好,图像更为清晰,平滑度更好。因此非线性低通滤波更适合瘦煤、页岩样本图像的处理。

表1 3种滤波器结果
Table 1 Results of the three filters

3种滤波器高斯滤波器非线性低通滤波器中值滤波器煤MSE0.00370.00230.0032PSNR72.419574.515373.1477矸石MSE0.00150.00080.0029PSNR76.298179.099973.4695

图5 煤和矸石3种滤波比较
Fig.5 Comparison of three filters for coal and gangue

2 煤矸识别特征选取

2.1 灰度特征选取

灰度特征描述图像或图像区域所对应的表面性质,灰度分析可以得到灰度图像的直方图及基本的灰度衡量特征值。图像灰度特征基本衡量参数有灰度均值、灰度方差和最大频数所对应的灰度值。

分别对75张煤和75张矸石样本图像进行灰度分析,得到煤和矸石的灰度统计直方图和各参数值,各参数值的分布范围见表2。

表2 煤矸样本灰度特征参数分布范围
Table 2 Distribution range of gray scale characteristic parameters of coal and gangue samples

样本灰度均值灰度方差最大频数对应的灰度值偏度煤73.7~122.114.3~37.265.0~116.05.7~35.1矸石104.1~164.78.2~23.4108.0~166.01.5~22.4

从表2中可看出煤和矸石的各衡量参数都有各自的分布范围,其中煤和矸石的灰度均值和最大频数所对应的灰度值存在较大的差异,区分度较高,其分布曲线如图6所示。因此,选取这2个参数作为煤矸灰度识别的特征向量。

图6 煤矸灰度具有较大差异衡量值的分布曲线
Fig.6 Distribution curves of coal and gangue gray values with great difference

2.2 纹理特征选取

纹理是物体表面固有的特征之一,其中灰度共生矩阵法是进行图像纹理研究最常用的一种方法,灰度共生矩阵是对空间中相距一定距离的两像素点之间的像素差值进行统计研究后得出的,其反映的是图像灰度关于方向、相邻间隔、变化幅度的综合信息,是一种经典的纹理特征提取方法[22]

基于灰度共生矩阵,Haralick导出了14个能反映纹理特征的二次统计参数,称为Haralick特征,其中常用的特征参数有能量、对比度、熵、同质性和相关性。对与灰度分析相同的75张煤样本图像和75张矸石样本图像进行纹理分析,得到各参数值的分布范围见表3。

表3 煤矸样本纹理特征参数分布范围
Table 3 Distribution range of texture characteristic parameters of coal and gangue samples

样本熵对比度同质性相关性能量煤2.8~23.73.7~5.60.4~0.60.4~0.80~0.1矸石0.7~5.02.7~4.30.5~0.80.4~0.90~0.1

从表3中可以看出煤和矸石的各衡量参数都有各自的分布范围,其中煤和矸石的纹理对比度、熵存在的差异较大,具有较高的区分度,其分布曲线如图7所示。因此,选取纹理对比度和熵作为煤矸纹理识别的特征向量。

图7 煤矸纹理具有较大差异衡量值的分布曲线
Fig.7 Distribution curves of coal and gangue textures with great difference in measured values

3 最小二乘支持向量机煤矸图像识别

3.1 煤矸识别模型的确定

支持向量机是一种有监督的学习方法,其基本思想是通过内积核函数将输入空间转换到高维特征空间,在新空间中寻找一个最优识别面[23-24]。对于未知样本,支持向量机将其映射到同一特征向量空间,并基于它们落在分割面的哪一侧来预测其所属类别。该方法在解决小样本、非线性以及高维识别问题中表现出许多特有的优势[25]

在煤矸分选中,煤和矸石混杂在一起,致使部分煤和矸石的灰度、纹理特征参数变得线性不可分,因此,以非线性分类器来进行煤和矸石的辨识能够获得更高的识别率。最小二乘支持向量机是专门处理样本线性不可分问题的机器学习算法[26],其将支持向量机的不等式约束变为等式约束,降低了求解超平面的难度,极大的提高了算法的求解效率。最小二乘支持向量机算法为设样本集V={(xi,yi)},i=1,2,…,n;xi为输入样本数据;yi为输出标示;n为样本数量,引入非线性变换核函数K(x,xi)=(φ(x)φ(xi)),最小二乘支持向量机的原始空间可以表示为

(3)

yi[wTφ(xi)+b]=1-ξi,i=1,2,…,n

(4)

其中,J为目标函数;ξ为松弛变量;α为拉格朗日乘子;φ(xi)为非线性变换核函数K(x,xi)=(φ(x)φ(xi))设的函数;C为惩罚因子。构造的Lagrange函数为

b]-1+ξ}

(5)

分别对wbξiα求偏导数,可得

(6)

式中,w为特征空间中的高维向量;ξi为松弛因子;b为分类阈值。

由KKT最优化条件得到线性方程组

(7)

式中,ΩαYI分别为

Ωi,j=yiyjφ(xi)Tφ(yj)=yiyjK(x,xi)

α=[α1,α2,…,αn]T

Y=[y1,y2,…,yn]

I=[I1,I2,…,In]

求解原始空间上的线性分类方程组可以得到决策函数为

(8)

利用支持向量机对煤、矸进行分类时,选择不同类型的核函数,得到的分类效果不同。径向基核函数RBF对焦煤、瘦煤、页岩和砂岩的识别率较好[27]。径向基核函数表达式为

K(x,xi)=exp[-σ|x-xi|2]

(9)

用Libsvm平台对选取的决策函数参数进行反复交差验证得到,当参数惩罚因子C=128,径向基核函数宽度参数为16时,煤矸识别准确度较好。

3.2 分类器训练

以灰度特征,纹理特征,联合特征(灰度-纹理)3组参数作为分类器的输入向量分别对75张煤和矸石样本图像进行训练,得到分类视图如图8所示。其中灰度特征参数选用灰度均值和最大频数对应的灰度值,纹理特征参数选用对比度和熵,联合特征参数选用最大频数对应的灰度值和对比度。

图8 分类视图
Fig.8 Classification of view

通过分类视图和分类器验证得出煤和矸石样本图像在训练时错分样本数,统计结果见表4。

由表4可以看出,以3种特征得到的分类器对于煤和矸石都能进行很好的区分,其中联合特征得到的分类器具有更高的训练准确度。

表4 分类器训练结果
Table 4 Classifier training result

样本种类灰度特征训练样本错分样本纹理特征训练样本错分样本联合特征训练样本错分样本煤752754751矸石752753750

3.3 分类器对比验证

分别以灰度,纹理,联合特征作为最小二乘向量机的特征向量对样本库剩余的75张煤和75张矸石样本图像进行分类器对比验证,分类结果见表5。

表5 样本图像分类准确度
Table 5 Sample image classification accuracy

样本测试数灰度特征错分样本准确度/%纹理特征错分样本准确度/%联合特征错分样本准确度/%煤75494.7396.00100矸75297.3297.30100

由表5可以看出,以3种特征向量进行煤矸识别均能达到较好的识别准确度,以联合特征进行分类具有更高的识别准确度。

4 煤矸识别程序设计

煤矸识别程序主要由图像采集、图像滤波、联合特征向量的提取、样本分类几部分组成,程序的编写主要在LABVIEW2017平台上完成。其编程流程图如图9所示。

图9 煤矸识别程序流程
Fig.9 Flow chart of coal and gangue identification program

4.1 图像采集程序

图像采集由软件实现控制。采集程序通过调用NI Vision下的NI-IMAQdx模块的IMAQdx Open Camera VI,IMAQdx Grab VI,IMAQdx Close Camera VI来完成相机的打开、采集图像、关闭和释放内存等。图像采集显示界面和部分程序代码如图10,11所示。

图10 图像采集显示界面
Fig.10 Image acquisition and display interface

图11 图像采集程序
Fig.11 Image acquisition program

4.2 图像滤波程序

图像处理程序主要由图片读取、图像滤波和图像存储等部分组成。NI Vision中的Filters模块提供了IMAQ LowPass子函数来进行非线性低通滤波器的程序编写。用IMAQ Read File读取已处理样本,格式为8位灰度,调用IMAQ LowPass函数时,将函数尺寸输入窗口设置为3×3,并将处理后的图像通过IMAQ Write File函数以JPG的形式进行存储。

4.3 特征提取程序

特征向量提取程序主要由图像读取、灰度分析子函数、纹理分析子函数、数据存储等部分组成。LABVIEW中的NI Vision模块提供了IMAQ Histograph和IMAQ Histogram两种灰度分析子函数。纹理分析则使用位于Image Processing 函数模块下的Texture模块中的IMAQ Cooccurrence Matrix可直接得出Haralick特征。用IMAQ Read File读取已处理样本,格式为8位灰度,在调用灰度分析函数时,将函数的灰度设置为0~255。将得到的特征参数采用TDMS数据流格式存储。特征提向量提取程序界面如图12所示。

图12 特征向量提取显示界面
Fig.12 Feature vector extraction display interface

4.4 识别程序

煤、矸分类程序主要由样本采集、图像滤波、特征向量的提取、LS-SVM分类程序调用和分类结果输出等部分组成。首先对读取的待识别样本进行非线性低通滤波,得出待识别样本的联合特征向量Xt,然后使用LS-SVM工具包调用分类函数对被测样本进行分类识别,得到的Ytest变量即为待识别样本的识别结果。对Ytest元素进行提取,其中元素为0时,代表识别结果为煤,元素为1时,识别结果为矸石。以联合特征作为最小二乘支持向量机的特征向量煤矸样本图像分类,其显示界面及程序如图13所示。

5 煤矸识别系统的验证

通过实验对所提出的煤矸识别方法及系统进行验证,得到其识别的准确性和识别速度。从韩城矿区实际工况条件下随机选取300块煤和300块矸石作为样本进行实验验证,实验平台如图14所示。图像采集相机与样本距离为40 cm,光照强度为100 lux左右。打开识别系统,点击图13(a)中“分类开始”控件,系统控制相机采集图像并进入自动识别,当完成识别后,界面上显示识别结果。同时在图像识别系统程序中设置计时器,记录点击“分类开始”控件时的时间为初始时间、输出识别结果时的时间为终止时间,两者之差为该识别系统的煤矸图像采集和分类识别总时间。样本分类实验结果统计见表6。

表6 样本分类准确度
Table 6 Sample classification accuracy

样本测试数错分样本准确度/%煤3002990.3矸3005183.0

图13 煤矸分类界面及部分程序
Fig.13 Coal and gangue classification interface and partial program

图14 煤矸分选机器人实验平台
Fig.14 Experimental platform for coal and gangue sorting robot

实验结果统计显示,煤样本识别准确度为90.3%,矸石样本的识别准确度为83.0%;所有实验样本识别中最大识别时间为0.247 s,最小识别时间为0.085 s,平均识别时间为0.153 s。

6 结 论

(1)本图像识别方法和系统对同一矿区实际工况下随机选取的煤和矸石分类准确度分别可达到为90.3%和83.0%,平均识别时间为0.153 s。

(2)非线性低通滤波对该类煤和矸石样本图像降噪效果最佳。

(3)该类煤和矸石样本图像在灰度均值、最大频数对应的灰度值、纹理对比度、熵4个参数上具有较高区分度。

(4)采用灰度特征参数中最大频数对应的灰度值和纹理特征参数中的对比度2个参数作为LS-SVM分类器输入向量,可得到比单独由灰度特征或纹理特征作为输入向量更好的识别效果。

参考文献(References):

[1] ZHAO Yuemin,YANG Xuliang,LUO Zhenfu,et al.Progress in developments of dry coal beneficiation[J].International Journal of Coal Science & Technology,2014,1(1):103-112.

[2] 张强,张石磊,王海舰,等.基于声发射信号的煤岩界面识别研究[J].电子测量与仪器学报,2017,31(2):230-237.

ZHANG Qiang,ZHANG Shilei,WANG Haijan,et al.Study on identification of coal-rock interface based on acoustic emission signal[J].Journal of Electronic Measurement and Instrumentation,2017,31(2):230-237.

[3] GUPTA Nikhil.Evaluation of pneumatic inclined deck separator for high-ash Indian coals[J].International Journal of Coal Science & Technology,2016,3(2):198-205.

[4] SAHU Laxmikanta,DEY Shobhana.Enrichment of carbon recovery of high ash coal fines using air fluidized vibratory deck separator[J].International Journal of Coal Science & Technology,2017,4(3):262-273.

[5] 张宁波.综放开采煤矸自然射线辐射规律及识别研究[D].徐州:中国矿业大学,2015:5-10.

ZAHNG Ningbo.Detection and radiation law of natural gamma ray from coal and roof-rock in the fully mechanized top coal caving mining[D].Xuzhou:China University of Mining & Technology,2015:5-10.

[6] 郭永存,于中山,卢熠昌.基于PSO优化NP-FSVM的煤矸光电智能分选技术研究[J].煤炭科学技术,2019,47(4):13-19.

GUO Yongcun,YU Zhongshan,LU Yichang.Research ngon photoelectric intelligent separation technology of coal and gangue based on NP-FSVM with the PSO algorithm[J].Coal Science and Technology,2019,47(4):13-19.

[7] MENG H,LI M.Characteristic analysis and recognition of coal-rock interface based on visual technology[J].International Journal of Signal Processing,Image Processing and Pattern Recognition,2016,9(4):61-68.

[8] 陈雪梅,张晞,徐莉莉,等.煤与矸石分形维数的差异研究[J].煤炭科学技术,2017,45(7):196-199.

CHEN Xuemei,ZHANG Xi,XU Lili,et al.Study on fractal dimension differences of coal and rock[J].Coal Science and Technology,2017,45(7):196-199.

[9] 米强,徐岩,刘斌,等.煤与矸石图像纹理特征提取方法[J].工矿自动化,2017,43(5):26-30.

MI Qiang,XU Yan,LIU Bin,et al.Extraction method of texture fea-ture of images of coal and gangue[J].Industry & Mine Automation,2017,43(5):26-30.

[10] HOU W.Identification of coal and gangue by feed-forward neural network based on data analysis[J].International Journal of Coal Preparation and Utilization,2019,39(1):33-43.

[11] TRIPATHY D P,GURU Raghavendra Reddy K.Novel methods for separation of gangue from limestone and coal using multispectral and joint color-texture features[J].Journal of The Institution of Engineers (India):Series D,2017,98(1):109-117.

[12] 陈浜.基于视觉计算的煤岩识别方法研究[D].北京:中国矿业大学(北京),2018,47-65.

CHEN Bang.Methodological studies of coal-rock recognition through visual computing[D].Beijing:China University of Mining& Technology(Beijing),2018,47-65.

[13] 伍云霞,田一民.基于字典学习的煤岩图像特征提取与识别方法[J].煤炭学报,2016,41(12):3190-3196.

WU Yunxia,TIAN Yimin.Method of coal-rock image feature extrac-tion and recognition based on dictionary learning[J].Journal of China Coal Society,2016,41(12):3190-3196.

[14] 孙继平,陈浜.基于CLBP和支持向量诱导字典学习的煤岩识别方法[J].煤炭学报,2017,42(12):3338-3348.

SUN Jiping,CHEN Bang.Coal-rock recognition approach based on CLBP and support vector guided dictionary learning[J].Journal of China Coal Society,2017,42(12):3338-3348.

[15] 沈宁,窦东阳,杨程,等.基于机器视觉的煤矸石多工况识别研究[J].煤炭工程,2019(1):120-125.

SHEN Ning,DOU Dongyang,YANG Cheng,et al.Research on Multi-condition Identification of Gangue based on Machine Vision[J].Coal Engineering,2019(1):120-125.

[16] SAHA B N,RAY N,ZHANG H.Snake validation:A PCA-Based outlier detection method[J].IEEE Signal Processing Letters,2009,16(6):549-552.

[17] 张德伟,陈昊,史颖刚,等.基于LabVIEW的双目视觉识别系统设计[J].电子测量技术,2018,41(4):135-139.

ZHANG Dewei,CHEN Hao,SHI Yinggang,et al.Design of binocular vision recognition system based on LabVIEW[J].Electronic Measurement Technology,2018,41(4):135-139.

[18] 曾庆良,许德山,逯振国,等.基于虚拟仪器的采煤机自动调高系统研究[J].中国矿业,2016,25(5):129-133,137.

ZENG Qingliang,XU Deshan,LU Zhenguo,et al.Study on Auto-height adjustment system for shearer based on virtual instrument[J].China Mining Magazine,2016,25(5):129-133,137.

[19] 李伟波.矿井提升机监测与故障诊断系统研究[D].淮南:安徽理工大学,2016.

LI Weibo.Research on monitoring and fault diagnosis system of mine hoist[D].Huainan:Anhui University of Science & Technology,2016.

[20] 曹文龙.基于LabVIEW的煤泥浮选泡沫图像处理系统研究[D].徐州:中国矿业大学,2016.

CAO Wenlong.Research of the bubble image processing system in coal slurry flotation based on Lab VIEW[D].Xuzhou:China University of Mining & Technology,2016.

[21] 王家臣,李良晖,杨胜利.不同照度下煤矸图像灰度及纹理特征提取的实验研究[J].煤炭学报,2018,43(11):3051-3061.

WANG Jiachen,LI Lianghui,YANG Shengli.Experimental study on gray and texture features extraction of coal and gangue image under different illuminance[J].Journal of China Coal Society,2018,43(11):3051-3061.

[22] ZHANG G G,XU X H.SAR image target recognitional gorithms based on weighted texture features[J].Foreign Electronic Measurement Technology,2015,34(9):22-25.

[23] 叶文武,成杰,高颂,等.基于SVM算法的实时人脸验证的研究[J].国外电子测量技术,2018,37(12):85-90.

YE Wenwu,CHENG Jie,GAO Song,et al.Research on real-time face verification based on SVM algorithm[J].Foreign Electronic Measurement Technology,2018,37(12):85-90.

[24] 郭继坤,赵清,徐峰,等.基于 SVM 的煤矿井下超宽带穿透成像算法研究[J].煤炭学报,2018,43(2):584-590.

GUO Jikun,ZHAO Qing,XU Feng,et al.Research on ultra wide-band penetration imaging algorithm for coal mine based on SVM[J].Journal of China Coal Society,2018,43(2):584-590.

[25] 刘彩霞,方建军,刘艳霞,等.基于多类特征融合的极限学习在四足机器人野外地形识别中的应用[J].电子测量与仪器学报,2018,32(2):97-105.

LIU Caixia,FANG Jianjun,LIU Yanxia,et al.Application of extreme learning based on multi-class feature fusion in field terrain recognition of quadruped robots[J].Journal of Electronic Measurement and Instrumentation,2018,32(2):97-105.

[26] 姚晔.最小二乘支持向量机的参数优化及其应用研究[J].科技经济导刊,2016(29):70.

YAO Ye.Parameter optimization of least square support vector machine and its application[J].The Guide of Science Education,2016(29):70.

[27] 佘杰.基于图像的煤岩识别方法研究[D].北京:中国矿业大学(北京),2014,66-72.

SHEJei.Study of coal rock recognition methods based on image processing[D].Beijing:China University of Mining & Technology(Beijing),2014,66-72.

Image identification method and system for coal and gangue sorting robot

LI Man1,DUAN Yong1,CAO Xiangang1,LIU Changyue2,SUN Kaikai1,LIU Hao1

(1.School of Mechanical Engineering,Xian University of Science and Technology,Xian 710054,China; 2.Hancheng Mining Co.,Ltd.,Hancheng 715400,China)

Abstract:Currently,the sorting of coal and gangue mainly relies on manual sorting and mechanical sorting.These two methods are labor intensive,consume a large amount of energy,and cause environmental pollution.One of the key functions of the sorting robot is identifying coal and gangue,however,which still remains a crucial and difficult problem to be solved.This paper propose an image processing based method for the problem and further develops an identification system.The hardware composition of the system in the coal and gangue sorting robot is introduced,especially,the selection and installation methods of the components of image identification system under the real-world condition are studied.Firstly a coal and gangue image repository is constructed by building image collection system and collecting the images of coals and gangues from Hancheng mining area.Then,an experiment is conducted to compare three kinds of filters for noise reduction of the images,which indicates that the nonlinear low pass filtering achieves the best performance.Considering that the surfaces of coal and gangue differentiate in grayscale and texture,they are compared in terms of four parameters of grayscale and five parameters of texture,it is found that the coal and gangue are more distinct in the two grayscale parameters including gray average and the grayscale value corresponding to the maximum frequency,and other two texture parameters including contrast and entropy than other parameters.Furthermore,LS-SVM is chosen as the image classifier.With the training of the classifier by inputting the two grayscale features,the two texture features and the combined features of grayscale and texture respectively,it is found that the classifier using the combined features has the best performance.The programs have been developed for the image collection,image filtering,combined feature vector extraction,and sample classification using LABVIEW.The identification system is built on the sorting robot experimental platform.To evaluate the performance of the system,the images of coals and gangues are chosen,which are randomly picked from production environment.Furthermore,the nonlinear low pass filter is used for noise reduction and the combined features are used to train the classifier.The results show that the model achieves an accuracy of 90.3% in identifying coals and 83% in identifying gangues,the averaged identification time is 0.153 s.

Key words:identification of coal and gangue;grayscale;texture;LS-SVM;LABVIEW

中图分类号:TD94

文献标志码:A

文章编号:0253-9993(2020)10-3636-09

移动阅读

李曼,段雍,曹现刚,等.煤矸分选机器人图像识别方法和系统[J].煤炭学报,2020,45(10):3636-3644.

LI Man,DUAN Yong,CAO Xiangang,et al.Image identification method and system for coal and gangue sorting robot[J].Journal of China Coal Society,2020,45(10):3636-3644.

收稿日期:2019-06-06

修回日期:2019-07-19

责任编辑:郭晓炜

DOI:10.13225/j.cnki.jccs.2019.0759

基金项目:国家自然科学基金重点资助项目(51834006);陕西省重点研发计划资助项目(2018GY-039);陕西省教育厅科学研究计划资助项目(18JC022)

作者简介:李 曼(1964—),女,陕西西安人,教授。Tel:029-85583159,E-mail:liman10@sina.com

通讯作者:段 雍(1995—),男,四川广元人,硕士研究生。Tel:029-85583159,E-mail:820529467@qq.com