基于超像素粒化与同质图像粒聚类的矿井人员图像分割方法

李晓宇1,杨 维2,刘 斌3,范伟强1,张向阳1

(1.中国矿业大学(北京) 机电与信息工程学院,北京 100083; 2.北京交通大学 电子信息工程学院,北京 100044; 3.国家能源集团 宁夏煤业有限责任公司双马煤矿,宁夏 银川 750408)

要:矿井人员图像分割是实现煤矿井下人员检测、行为识别、视频定位跟踪等技术的基础任务之一。然而,由于矿井下环境特殊,常规图像分割方法均难以满足对井下人员的精准分割要求。为解决矿井人员图像的分割问题,提出一种基于超像素粒化及同质图像粒聚类的分割方法,能够适用于煤矿井下多种场景的人员图像。首先,使用简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)模型将井下人员图像初始粒化为超像素单元,并通过测量离线样本图像中所标记人员像素点与超像素之间的RGB相似度值判定人员超像素。其次,由邻居超像素辅助检测欠分割人员超像素并将其彻底分割为2个子超像素单元,选择其中之一的精英人员超像素并提取其纹理和灰度特征。接着,将具有最相似图像特征的邻接精英人员超像素定义为同质图像粒,同质图像粒相互融合并聚类形成具有特定语义信息的同质人员区域。最后,由所有同质人员区域共同构成完整的人员区域,并实现人员区域与图像背景的分离。通过对煤矿井下4种场景下的人员图像进行算法性能验证,实验结果表明:超像素粒化算法的F-Measure值分别较对比算法平均值高出2.11%,3.36%,13.16%,6.82%,同质人员图像粒聚类算法精度值分别达到99.0%,100%,94.4%和93.75%,并且所提分割方法对井下4种不同场景中的人员图像均具有较强的鲁棒性和较好的分割效果。

关键词:矿井人员;图像分割;超像素粒化;精英人员超像素;同质图像粒;同质人员区域

煤炭资源科学化、精准化开采是煤炭工业可持续发展的必然趋势[1-2],其中对煤矿井下作业人员进行信息化、智能化管理是奠定煤炭工业高质量发展[3-4]的重要基础。近年来,机器视觉技术已逐渐开始在煤矿领域崭露头角,如:孙继平[5]探讨了矿用机器视觉的特点及其在煤矿井下的应用;曹玉超等[6]提出了将机器视觉技术应用于矿井水灾图像识别中;田子建等[7]提出基于机器视觉的煤岩界面识别研究;赵晓莉等[8]提出基于机器视觉的矿井天轮偏摆监测系统设计方法。然而,由于煤矿井下环境特殊[9],如非均匀照度[10],低对比度[11],大型机械设备的阴影等对井下人员图像的成像质量产生较大影响,导致图像像素特征复杂多变,这使得机器视觉在处理矿井人员图像方面存在一定困难。人员图像分割是机器视觉应用于矿井人员管理中的一项关键技术,对井下人员监控[12]、检测[13]、定位[14]和跟踪[15]等研究具有重要意义。

传统图像分割方法主要包括基于像素灰度值的阈值法[16]、像素聚类法[17]、边缘分割法[18]、区域生长法[19]、图割法[20]等,均已成熟应用于解决各类场景下的图像分割问题。然而,阈值分割法对噪声敏感,对灰度差异不明显,对于灰度值相近的不同目标重叠区域的分割并不理想;边缘分割法不能得到更好的区域结构,且噪声抗扰度与检测精度之间存在冲突;区域分割容易导致图像过度分割;聚类分割法没有考虑空间信息,对噪声和灰度不均匀性敏感;图割法是一种交互式的分割方法,要求用户在图像中指定前景和背景,不便于自动分割。此外,上述方法均忽略了像素间的潜在相关信息,不适用于对矿井非均匀照度下的人员图像进行分割。

近年来,基于超像素模型的图像分割方法在计算机视觉技术应用中显现出显著优势[21-23],将具有相似颜色、纹理和亮度特征的像素划分为固定数量的不规则超像素块,即图像中的大量像素特征信息由少量的超像素表示。基于颜色和距离相似性的简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)算法[24-25]吸引了越来越多研究者的关注,该算法生成的超像素大小均匀,能够更好地拟合目标边界,此外,超像素数量只由一个参数控制,同一超像素中像素之间的差异很小。SLIC模型易于实现和操作,在处理各种随机不确定复杂场景时具有良好的鲁棒性和适应性,但在煤矿领域的应用近乎空白。

笔者研究了井下人员图像分割方法,紧密结合SLIC超像素粒化模型和同质图像粒聚类思想,充分考虑了超像素间的语义信息和像素间的空间联系。笔者应用SLIC将人员图像粒化为超像素块,分析并选择表示超像素数量的最优输入参数;通过计算RGB相似度值区分人员超像素与背景超像素,RGB相似度值由超像素和离线标记像素的RGB均值度量;建立人员超像素的区域邻接图,利用人员超像素及其邻居超像素的RGB均值检测欠分割人员超像素(Under-segmented Personnel Superpixel,UPS),通过提出的基于RGB最小距离差 (Minimum Distance Difference based on RGB,MDD-RGB)模型将欠分割人员超像素再分割为2个子超像素,其中一个子超像素为背景超像素,另一个为精英人员超像素(Elite Personnel Superpixel,EPS);将具有最相似超像素特征值的邻接精英人员超像素定义为同质图像粒(Homogeneous Image Granules,HIG),根据所提同质图像粒聚类(Homogeneous Image Granules Clustering,HIGC)模型将同质图像粒聚类形成多个同质人员区域,所有同质人员区域最终构成完整人员区域。通过对多种场景下实验的定性和定量分析,验证了本文方法的可行性和有效性。

1 人员图像分割算法框架

本文算法面向计算机视觉下的矿井人员分割识别问题,以实现对井下人员的智能化监控管理。现场人员图像分割需要依赖于事先采集的历史人员图像信息,通过提取历史人员图像中人员像素图像特征初步判定出人员超像素。因此,如图1所示,本文算法结构由离线数据准备和在线数据测试2部分组成。离线工作主要是准备样本人员图像及其相关数据,在线测试工作包括以下几个方面:① SLIC算法初始粒化人员图像;② 人员超像素与背景超像素分离;③ 欠分割人员超像素识别及二次分割;④ 同质图像粒聚类及同质人员区域生成;⑤ 从图像中分割出人员区域。

图1 人员分割算法框架结构
Fig.1 Framework structure of personnel segmentation algorithm

2 基于SLIC的人员图像超像素粒化

2.1 m值选择

SLIC的粒化结果与它的输入参数预分割超像素数量m密切相关,无论m偏大或偏小,都会影响测试图像的粒化效果。较大的m值在增加SLIC计算复杂度的同时会引起过分割现象,不利于算法后期的同质图像粒聚类;较小的m值容易导致人员超像素欠分割,不能充分将人员像素区域精确粒化。

本节研究离线状态下对应于不同m值的人员图像SLIC粒化准确度,为在线分割人员图像选择出最佳m值。 粒化准确度定义为正确分割人员超像素数量与m的比值。实验步骤如下:

(1)备份样本人员图像,在备份图像中标记人员区域并提取其掩模图像,如图1所示。记录掩模图像中对应于人员区域的像素点位置。

(2)以不同的m值对样本人员图像进行SLIC超像素粒化,粒化结果如图2所示。

图2 不同m值的SLIC人员图像分割
Fig.2 SLIC segmentation of personnel image with different
m values

(3)提取超像素中的像素点位置,并与掩模图像中的人员像素位置进行比较。若该超像素的所有像素点位置均属于掩模图像中的人员像素位置,则将该超像素定义为正确分割人员超像素;若该超像素中只有部分像素点位置属于掩模图像中的人员像素位置,则将该超像素定义为误分割人员超像素。将其中所有像素位置均不属于掩模图像中人员像素位置的超像素定义为背景超像素。

(4)统计正确分割人员超像素数量,计算不同m值对应的超像素粒化准确度,如图3所示。

图3 不同m值对应的人员超像素粒化准确度
Fig.3 Granulation accuracy of personnel superpixels with
different m values

(5)选择粒化准确度最高的m值为在线测试图像的最优输入值,此时m值对应400。m<400时人员超像素分割不充分,m>400时反而降低了粒化准确度。

2.2 人员超像素判定

在对人员图像进行SLIC粒化之前,需要标注离线样本图像I′,如图4所示。将C,Ct,Cb分别定义为I′中所有颜色成分、人员区域颜色成分、背景颜色成分。图4(a)为原始样本图像,Ct如图4(b)标注样本所示。I′的作用是为图像I的在线分割提供参考。

图4 样本图像标记
Fig.4 Marking of sample image

CtCb的之间的关系定义为

C=CtCbCtCb=∅

(1)

分别定义为人员区域和背景区域中任意颜色成分的RGB均值。本节算法步骤如下:

(1)将人员图像I与最优m值输入SLIC进行初始粒化,如图5(a),(b)所示。

(2)计算超像素spi(i=1,2,…,m)的RGB均值均值填充图如图5(c)所示,的计算公式为

(2)

(3)

式中,RspiGspiBspi分别为超像素spi在R,G,B三个颜色通道上的分量均值;分别为超像素spi中像素点pi在R,G,B三个颜色通道上的分量值;为spi的任意像素点,k=1,2,…,N,N为spi中单位像素点数量。

(3)计算的差值距离,若存在以下关系式,则超像素spi判定为人员超像素psp:

(4)

(4)记录第(3)步中pspj(j=1,2,…,q)的标签编号ljq为psp的数量。 将满足上述条件的超像素定义为一类人员超像素;反之,提取spi中具有最大、最小RGB值的像素点存在关系式(5),且之间满足关系式(6),(7)二者其一,则spi定义为二类人员超像素。

图5 测试图像超像素粒化
Fig.5 Superpixel granulation of test image

(5)

(6)

(7)

图6显示了本节算法所判定的人员超像素,其中红色边框表示一类人员超像素,黄色边框表示二类人员像素。

图6 人员超像素类型
Fig.6 Types of personnel superpixels

2.3 欠分割人员超像素检测与二次分割

欠分割人员超像素定义为同时包含2种或多种颜色成分的超像素,且其中至少存在1种颜色成分属于人员区域颜色成分Ct,表示为Upsp。由2.2节可知,Upsp可能存在于一类人员超像素之中,因为一类人员超像素包括以下2种情形:① 超像素为精英人员超像素(超像素中所有像素点的RGB值更加接近于记为Epsp);② 超像素中同时包含有人员像素点和背景像素点,但人员像素点数量远大于背景像素点数量。由Upsp的定义可知,第2种情况下的一类人员超像素为Upsp,所有二类人员超像素均为Upsp。因此,本节中MDD-RGB模型将对所有一类人员超像素中的Upsp进行识别,并对所有Upsp进行二次分割。

MDD-RGB 步骤如下:

(1)建立一类人员超像素的区域邻接图,输出以任意pspj为中心的邻居超像素列表Lj,记录每个pspj及其邻居超像素pspjr(r=1,2,…,m-1),r为pspj的邻居超像素数量。

(2)计算pspjr的RGB均值公式为

(8)

(9)

式中,RpspjrGpspjrBpspjr分别为邻居超像素pspjr在R,G,B三个颜色通道上的分量均值;分别为pspjr中像素点pjr在R,G,B三个颜色通道上的分量值;pjr为pspjr中的任意像素点。

(3)如果之间存在如下关系式,则将pspj定义为Upsp

(10)

(11)

(12)

式中,分别为pspj的最大、最小RGB值;为pspj的一个邻居超像素psp′jr的RGB均值;为pspj的另一个邻居超像素psp″jr的RGB均值,psp′jr与psp″jr之中一个为精英人员超像素Epsp,另一个为背景超像素(其中所有像素点的RGB值更接近于

(4)将所有Upsp中像素的RGB值记为计算的距离差,分别记为计算公式为

(13)

式中,分别为psp′jr和psp″jr的最大、最小RGB值。

(5)计算Upsp的距离差,分别标记为计算公式为

(14)

式中,分别为Upsp的最大、最小RGB值。

(6)对于满足式(6)的Upsp,根据步骤(4)选择一组最小的并将其视为二次分割Upsp的准则。对于满足式(7)的Upsp,同理通过步骤(5)可将Upsp分割为2个子超像素,如图7所示。子超像素之一为精英人员超像素,标记为Epspj

图7 欠分割人员超像素二次分割
Fig.7 Secondary segmentation of under-segmented personnel
superpixel

(7)顺序延伸超像素标签l,更新I中超像素并获得新标签l′。

3 同质人员图像粒聚类

为有效分割人员区域,需要充分考虑超像素之间潜在的语义信息和空间结构关系。本文将具有最相似图像特征的精英人员超像素定义为一组同质图像粒,选用精英人员超像素的灰度G和纹理特征作为搜索同质图像粒的依据,纹理特征由灰度共生矩阵的4个特征能量En、对比度Co、同质性Ho、熵Em表示,提取它们的特征均值组成精英人员超像素的五维特征向量V=(G,En,Co,Ho,Em),为便于算法计算,对5个特征分量值作归一化处理。同质图像粒聚类促进同质区域的形成[26],进一步地,同质区域彼此融合得到完整的人员区域。同质图像粒的聚类如图8所示,图8(a)为草裙图像粒的聚类,图8(b)为人员手部聚类。

图8 同质图像粒聚类
Fig.8 Clustering of homogenous image granulations

本节HIGC算法步骤如下:

(1)选择任意Epspj(j=1,2,…,q+n)为初始种子点,n为更新l后新增的人员超像素标签数量。计算Lj中pspj与pspjr(r=1,2,…,m+n-1)的超像素特征值距离差D,公式为

(15)

式中,为pspj的超像素特征值;为pspjr的超像素特征值。

(2)选择D中的最小值将对应于的pspjr定义为pspj的同质图像粒,记为合并形成同质区域Ra,表示为

(16)

(3)建立Ra的邻居图像粒列表La,重复执行步骤(1),(2)直到满足如下条件:

(17)

其中,Ra与其邻居图像粒pspjr(r=1,2,…,q+n-2)的RGB均值距离差;Da-1Ra与pspjr合并之前的距离差。至此,对应于第1个的同质图像粒合并完成。

(4)选择下一个Epspj,重复步骤(1)~(3)直到算法遍历完所有精英人员超像素(完成同质图像粒聚类)。

(5)合并所有Ra

本文规定邻居超像素全部为背景超像素的Epsp为孤立同质人员图像粒,在算法中按背景图像粒处理。

4 实验结果及分析

为评估本文算法性能,分别采集了运输巷、掘进巷、工作面和变电站4种不同场景下的井下人员图像,如图9(a)~(d)所示。本文中的人员图像均采集于宁夏灵武市马家滩镇双马煤矿,现场拍摄环境:DS-FB4024海康威视防爆摄像机,低照度,粉尘质量浓度3.2 mg/m3,湿度60%,温度17 ℃,二氧化碳体积分数0.04%。实验环境:CPU处理器Intel(R)Core (TM)i5-2450M,2.5 GHz 主频,4 GB内存,64-bit Windows 7操作系统,Matlab R2016b编程工具。

4.1 SLIC 粒化与欠分割人员超像素检测

对图9(a)~(d)中的原始图像进行SLIC初始分割,根据2.1节方法计算所得其最优m值均为200。图9(e)~(h)为人员图像的SLIC粒化结果,图9(i)~(l)为对欠分割人员超像素进行了标注。

图9 人员图像超像素粒化及欠分割检测
Fig.9 Personnel image superpixel granulation and under-segmentation detection

图9(a)中的人员位于4-1煤辅助运输巷,在光照不足或人员颜色与背景难以区分之处产生了欠分割人员超像素,图中共检测了6处欠分割人员超像素并由5个黄色边框标记,最上方的边框内包含2个相邻的欠分割人员超像素。图9(b)中的人员位于I0104106回风巷,经SLIC粒化后原图被分割为人员与背景2类超像素,然而巷道内特殊的光照条件也导致了欠分割人员超像素的出现,图中共检测了3处欠分割人员超像素并由3个黄色边框标记。图9(c)中的人员位于I0104301综采工作面,大部分人员超像素与背景超像素是相互独立且不兼容的,但仍存在少量欠分割人员超像素,由3个黄色边框标记。图9(d)中的人员位于具有较多供电设备的变电所内,背光照射条件及设备与人员颜色的相似性造成了一些欠分割人员超像素的出现,共检测了7处并由6个黄色边框标记,人员左肩处的边框内包含2个欠分割人员超像素。

4.2 MDD-RGB 二次分割

本节对4.1节中的欠分割人员超像素进行二次分割测试。MDD-RGB将欠分割人员超像素中的像素点分为2类,在本文中属于监督学习的数据分类方法,为此本节列出了5种分类学习算法与MDD-RGB 进行对比,分别有KNN(K-Nearest Neighbor)[27],NB (Naive Bayes)[28],LDA (Linear Discriminate Analysis)[29-30],QDA(Quadratic Discriminate Analysis)[31],SVM (Support Vector Machine)[32-33]。为使所有算法具有相同的测试条件,本实验中的训练样本统一选自于欠分割人员超像素本身Lj中的人员超像素和背景超像素,实验结果如图10所示。

如图10所示,对于图10(a)中的6个欠分割人员超像素,KNN有效分割了其中4个,剩余2个失败,分割成功率约为67%,NB,LDA和QDA有效分割了其中5个,1个失败,分割成功率约为83%,SVM和MDD-RGB有效分割了全部,无失败分割,分割成功率为100%;对于图10(b)中的3个欠分割人员超像素,KNN,NB,QDA,SVM 和 MDD-RGB 有效分割了全部,无失败分割,分割成功率为100%,LDA有效分割了其中2个,剩余1个失败,分割成功率约为67%;对于图10(c)中的3个欠分割人员超像素,5种对比算法及MDD-RGB 均有效分割了全部,无失败分割,分割成功率为100%;对于图10(d)中的7个欠分割人员超像素,KNN 有效分割了其中5个,剩余2个失败,分割成功率约为71%,NB 有效分割了其中6个,剩余1个失败,分割成功率约为86%,LDA,QDA,SVM和MDD-RGB有效分割了全部,无失败分割,分割成功率为100%。

为进一步验证MDD-RGB的有效性,使用精确度Precision和召回率Recall两项分割指标评价其性能[34],公式为

(18)

(19)

式中,PT为检索到的人员像素点;PF为检索到的背景像素点;NF为未检索到的人员像素点。

本节中,用于计算分割指标的像素点均属于4.1节中的欠分割人员超像素。通常情况下,Precision和Recall越大,算法分割性能越好,但2者之间存在冲突关系。引入F-Measure[34]可综合评价Precision和Recall,定义为

(20)

显然,F-Measure同时考虑了Precision和Recall的结果,F-Measure越大,算法性能越好。各算法分割指标的数据结果见表1。

从表1可以看出,图10(a)中,MDD-RGB的精确度Precision高于其他5种对比算法,召回率Recall较低,仅高于LDA,F-Measure略低于NB和SVM;图10(b)中,MDD-RGB的精确度Precision高于其他5种对比算法,召回率Recall略低于KNN和QDA,F-Measure仅次于KNN;图10(c),(d)中,MDD-RGB的精确度Precision、召回率Recall和F-measure值均领先于其他5种比较算法。

图10(a),(b)关于5种对比算法的Precision,Recall和F-Measure三项指标的均值和MDD-RGB的指标值比较如图11所示。图11(a)中,MDD-RGB的精度值明显高于比较算法,召回值略低于比较算法,但F-Measure值仍高于比较算法。图11(b)中,MDD-RGB的3项指标值均明显高于比较算法,充分说明了MDD-RGB可以有效地二次分割欠分割人员超像素,且分割性能较好。

4.3 HIGC 同质图像粒聚类

本节对同质图像粒聚类算法HIGC进行测试,列出了3种聚类算法及2种需要设定分割标签数的典型图像分割算法作为对比,分别有K-means[35],HC(Hierarchical Clustering)[36-37],GMM (Gaussian Mixture Model)[38],Ostu[39],Ncut multiscale[40]

图12展示了离线样本图像中人员区域的主要标记部分,分别对应于图9 (a)~(d)。根据离线样本数据库的标记类型,将所有算法关于图10(a)~(d)的聚类标签数量分别设置为6,6,6和5(所有的背景标记部分视为一个聚类标签)。图13为人员区域的全局分割结果。

图10 不同算法的二次分割结果对比
Fig.10 Comparision of the secondary segmentation result of different algorithms

表1 不同算法分割性能比较
Table 1 Comparison of segmentation performance of different algorithms

指标KNNNBLDAQDASVMMDD-RGBPrecision0.889 10.928 70.911 50.794 20.924 60.962 9Fig.10(a)Recall0.848 20.877 30.840 30.861 90.887 00.846 8F-Measure0.868 20.902 30.874 50.826 70.905 40.901 1Precision0.916 70.892 30.765 60.907 30.900 50.919 1Fig.10(b)Recall0.891 10.875 60.740 10.882 00.874 90.877 8F-Measure0.903 70.883 90.752 60.894 50.887 50.898 0Precision0.610 00.633 60.600 90.638 70.699 90.762 7Fig.10(c)Recall0.851 20.869 40.866 60.862 80.825 50.974 3F-Measure0.710 70.733 00.709 70.734 00.757 50.855 6Precision0.694 60.714 10.708 50.720 00.719 30.769 9Fig.10(d)Recall0.836 20.853 50.930 10.957 90.964 80.988 5F-Measure0.758 90.777 60.804 30.822 10.824 20.865 6

图11 算法性能均值对比
Fig.11 Comparison of the mean values about algorithm indicators

图12 样本图像主要标记成分
Fig.12 Main marker components in the sample images

图13 人员图像分割结果对比
Fig. 13 Comparison of segmentation results of miner image

由图13可知,K-means基本可将人员区域从背景中分离出来,但是一些背景超像素被错误聚集到人员区域中,直接降低了对人员区域的分割准确性。 HC对于图13(b)的分割效果较其他图像要好,但图13(b)中存在个别人员图像粒被错误聚类,使得人员区域没有得到准确分割。GMM对于图13(a),(b),(d)的分割效果较图13(c)要好,但图13(a),(b),(d)中仍有一部分人员图像粒被视为背景错误分割。Ostu是一种基于像素灰度阈值的分割方法,对人员的分割效果较差,局部区域分割过度,另外,井下光照条件较差,像素灰度值随机变化,使得人员的分割效果不清晰。Ncut-Multiscale侧重于全局分割,在聚类标签数量较少的情况下容易忽略细节,同时分割结果中人员目标不够显著,很难从背景中分辨出人员。HIGC直接对同质人员图像粒进行聚类,在不受背景超像素干扰的情况下,将具有相同标签的同质图像粒逐个合并,分割效率较高,分割效果相对较好。

本节进一步对K-means,HC,GMM和HIGC四种算法的性能进行定量分析并比较其聚类精度,定义同质人员图像粒的聚类精度Accuracy公式为

(21)

式中,Np为每个聚类标签中的同质人员图像粒数量;Nr为每个聚类标签中的超像素总数。

图14以折线图形式呈现了4种算法的聚类精度,横坐标为聚类标签,纵坐标为每个聚类标签下对应的同质人员图像粒聚类精度。

图14 同质人员图像粒聚类精度对比
Fig. 14 Comparison about clustering accuracy of homogenous image granules

如图14所示,4幅图中的聚类精度均在区间[0,1]内,但数据变化形式各不相同。图14(a)中,K-means和HC的数值变化区间约为[0.08,0.80],说明人员图像粒与背景超像素并没有完全分离。GMM和HIGC的变化范围基本在[0,1]内,但HIGC的数据显示出更好的极化特性,6个标签中有4个等于1,1个接近1,剩余1个接近0。图14(b)中,4种算法的数值变化范围均在[0,1]内,说明所有算法均可以准确分离部分人员和背景,但HIGC呈现出最好的极化特征,6个标签中有5个等于1,1个等于0,没有中间过渡值。图14(c)中,4种算法的数值变化范围均在[0,1],同理4种算法都可以将部分人员与背景准确分离,但对于HIGC而言,6个标签中有3个等于1,2个接近1,1个接近0,极化特性比其他算法更明显。图14(d)中,K-means与HC的数值变化区间为[0,0.9],GMM与HIGC的变化范围在[0,1]。理想情况下,聚类的结果是只有1个标签值为0,其余都为1,HIGC在5个标签中有3个等于1,1个接近1,1个等于0,较其他3种算法要好。综合分析图14可看出,HIGC更符合理想状态,其聚类效果优于其他3种算法。

5 结 论

(1)提出了一种基于超像素特征和同质图像粒聚类的人员分割方法,该方法利用SLIC将人员图像粒化为超像素块并对欠分割人员超像素进行二次分割,通过计算欠分割人员超像素与其相邻超像素之间的RGB颜色关系获得精英人员超像素,精英人员超像素在其邻域列表中搜索同质图像颗粒进行聚类,形成同质人员区域,多个同质人员区域最终形成完整人员区域。

(2)就4幅人员图像的二次分割测试而言,所提MDD-RGB算法的F-Measure值分别较对比算法的平均值高出2.11%,3.36%,13.16%,6.82%。针对4幅人员图像中同质图像粒的聚类精度分析,所提HIGC的精度分别达到99%,100%,94.4%和93.75%。可见,本文方法在对人员图像的分割质量上具有较好的性能,这对基于计算机视觉的矿井图像分析研究具有一定的参考价值。

参考文献(References):

[1] 王国法,刘峰,庞义辉,等.煤矿智能化——煤炭工业高质量发展的核心技术支撑[J].煤炭学报,2019,44(2):349-357.

WANG Guofa,LIU Feng,PANG Yihui,et al.Coal mine intellectualization:The core technology of high quality development[J].Journal of China Coal Society,2019,44(2):349-357.

[2] 钱鸣高,许家林,王家臣.再论煤炭的科学开采[J].煤炭学报,2018,43(1):1-13.

QIAN Minggao,XU Jialin,WANG Jiachen.Further on the sustainable mining of coal[J].Journal of China Coal Society,2018,43(1):1-13.

[3] LIU Quanlong,LI Xinchun,GUAN Fuyuan.Research on effectiveness of coal mine safety supervision system reform on three types of collieries in China[J].International Journal of Coal Science & Technology,2014,1(3):376-382.

[4] 孙继平.煤矿信息化自动化新技术与发展[J].煤炭科学技术,2016,44(1):19-23,83.

SUN Jiping.New technology and development of mine informatization and automation[J].Coal Science and Technology,2016,44(1):19-23,83.

[5] 孙继平.煤矿信息化与自动化发展趋势[J].工矿自动化,2015,41(4):1-5.

SUN Jiping.Development trend of coal mine informatization and automation[J].Industry and Mine Automation,2015,41(4):1-5.

[6] 曹玉超,范伟强.基于不同深度识别算法的矿井水位标尺刻度识别性能分析与研究[J].煤炭学报,2019,44(11):3529-3538.

CAO Yuchao,FAN Weiqiang.Performance analysis and research of mine water level scale recognition based on different depth recognition algorithms[J].Journal of China Coal Society,2019,44(11):3529-3538.

[7] 田子建,彭霞,苏波.基于机器视觉的煤岩界面识别研究[J].工矿自动化,2013,39(5):49-52.

TIAN Zijian,PENG Xia,SU Bo.Research of coal-rock interface identification based on machine vision[J].Industry and Mine Automation,2013,39(5):49-52.

[8] 赵晓莉,郭宁,寇子明.基于机器视觉的天轮偏摆监测系统设计[J].煤炭技术,2018,37(8):221-223.

ZHAO Xiaoli,GUO Ning,KOU Ziming.Design of head sheave deflection monitoring system based on machine vision[J].Coal Technology,2018,37(8):221-223.

[9] 刘晓阳,刘毅.改进的脉冲耦合神经网络矿工图像增强方法[J].煤炭学报,2011,36(S1):207-210.

LIU Xiaoyang,LIU Yi.Method of miners image enhancement based on improved pulse coupled neural network[J].Journal of China Coal Society,2011,36(S1):207-210.

[10] 智宁,毛善君,李梅,等.基于深度融合网络的煤矿图像尘雾清晰化算法[J].煤炭学报,2019,44(2):655-666.

ZHI Ning,MAO Shanjun,LI Mei,et al.Coal mine image dust and fog clearing algorithm based on deep fusion network[J].Journal of China Coal Society,2019,44(2):655-666.

[11] 王满利,田子建.基于非下采样轮廓波变换的矿井图像增强算法[J].煤炭学报,2020,45(9):3351-3362.

WANG Manli,TIAN Zijian.Mine image enhancement algorithm based on nonsubsampled contourlet transform[J].Journal of China Coal Society,2020,45(9):3351-3362.

[12] 孙继平,田子建.矿井图像监视系统与关键技术[J].煤炭科学技术,2014,42(1):65-68.

SUN Jiping,TIAN Zijian.Image monitoring system and key technology in underground mine[J].Coal Science and Technology,2014,42(1):65-68.

[13] SUN Jiping,LI Chenxin.In-pit coal mine personnel uniqueness detection technology based on personnel positioning and face recognition[J].International Journal of Mining Science and Technology,2013,23(3):357-361.

[14] 张帆,孙晓辉,崔东林.基于ORB特征的矿井移动目标双目视觉跟踪与定位[J].煤炭学报,2018,43(S2):654-662.

ZHANG Fan,SUN Xiaohui,CUI Donglin.Method of tracking and positioning for mobile target based on ORB features and binocular vision in mine[J].Journal of China Coal Society,2018,43(S2):654-662.

[15] 孙继平,贾倪.矿井视频图像中人员目标匹配与跟踪方法[J].中国矿业大学学报,2015,44(3):540-548.

SUN Jiping,JIA Ni.Human target matching and tracking method in coal mine video[J].Journal of China University of Mining & Technology,2015,44(3):540-548.

[16] XIE D H,LU M,XIE Y F,et al.A fast threshold segmentation method for froth image base on the pixel distribution characteristic[J].Plos One,2019,14(1):1-18.

[17] GHARIEB R,GENDY G,SELIM H.A hard C-means clustering algorithm incorporating membership kl divergence and local data information for noisy image segmentation[J].International Journal of Pattern Recognition & Artificial Intelligence,2018,32(4):1850012.

[18] WANG L,CHEN G Q,SHI D,et al.Active contours driven by edge entropy fitting energy for image segmentation[J].Signal Process,2018,149:27-35.

[19] DEHDASHT H R,GHOLAMI S.Automatic Seeded Region Gro-wing (ASRG) using genetic algorithm for brain MRI segmentation[J].Wireless Personal Communications,2019,109(5):897-908.

[20] ROTHER C,KOLMOGOROV V,BLAKE A.GrabCut:Interactive foreground extraction using iterated graph cuts[J].Acm Transction on Graphics,2004,23(3):309-314.

[21] FELZENSZWALB P F,HUTTENLOCHER D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[22] LI Z G,WU X M,CHANG S F.Segmentation using superpixels:A bipartite graph partitioning approach[A].Computer Vision & Pattern Recognition[C].Providence:2012:789-796.

[23] SHEN J B,HAO X P,LIANG Z Y,et al.Real-time superpixel segmentation by DBSCAN clustering algorithm[J].IEEE Trans.on Image Process,2016,25(12):5933-5942.

[24] RADHAKRISHNA A,APPU S,KEVIN S,et al.SLIC superpixels[R].Lausanne:Technical Report,EPFL,2010.

[25] RADHAKRISHNA A,APPU S,KEVIN S,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[26] 吴涛.图像分割的认知物理学方法[M].北京:中国水利水电出版社,2015:79-81.

[27] PHAN T N,KAPPAS M.Comparison of random forest,k-nearest neighbor,and support vector machine classifiers for land cover classification using sentinel-2 imagery[J].Sensors,2018,18(1):1-20.

[28] ANDREJIOVA M,GRINCOVA A.Classification of impact damage on a rubber-textile conveyor belt using Naive-Bayes methodology[J].Wear,2018,414(11):59-67.

[29] RIFFENBURGH R H,CLUNIES-ROSS C W.Linear discriminant analysis[J].Pacific Science,1960,14:27-33.

[30] KIM K,YEOM S.Investigation on the growth of green bean sprouts with linear discriminant analysis[J].International Journal of Fuzzy Logic and Intelligent System,2017,17(4):315-322.

[31] WANG X M,LI X J,MA R Y,et al.Quadratic discriminant analysis model for assessing the risk of cadmium pollution for paddy fields in a county in China.Environ[J].Environmental Pollution,2018,236:366-372.

[32] SAUNDERS C,STITSON M O,WESTON J,et al.Support vector machine[J].Computer Science,2002,1(4):1-28.

[33] SOMASUNDARAM T S,REJANI Y I A.Early detection of breast cancer using SVM classifier technique[J].International Journal of Computer Sciences and Engineering,2009,1(3):127-130.

[34] TAHA A A,HANBURY A.Metrics for evaluating 3D medical image segmentation:Analysis,selection,and tool[J].BMC Medical Imaging,2015,15:1-28.

[35] JAISAKTHI S M,MIRUNALINI P,AEAVINDAN C.Automated skin lesion segmentation of dermoscopic images using GrabCut and K-Means algorithms[J].IET Computer Vision,2018,12(8):1088-1095.

[36] KARYPIS G,HAN E H,KUMAR V.Chameleon:Hierarchical clustering using dynamic modeling[J].Computer,1999,32(8):68-75.

[37] ASHTON J J,BORCA F,MOSSOTTO E,et al.Analysis and hierarchical clustering of blood results before diagnosis in pediatric inflammatory bowel disease[J].Inflammatory Bowel Diseases,2018,26(3):469-475.

[38] YE H,ZHENG L,LIU P F.Color detection and segmentation of the scene based on Gaussian mixture model clustering[A].2017 7th IEEE International Conference on Electronics Information and Emergency Communication (ICEIEC)[C].Macau:IEEE,2017:503-506.

[39] OTSU N.A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems,Man and Cybernetics,2007,9(1):62-69.

[40] COUR T,BENEZIT F,SHI J B.Spectral segmentation with multiscale graph decomposition[A].2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)[C].San Diego:IEEE,2005:1124-1131.

Segmentation method for mine personnel images based on superpixel granulation and homogenous image granules

LI Xiaoyu1,YANG Wei2,LIU Bin3,FAN Weiqiang1,ZHANG Xiangyang1

(1.School of Mechanical Electronic & Information Engineering,China University of Mining and Technology (Beijing),Beijing 100083,China; 2.School of Electronic & Information Engineering,Beijing Jiaotong University,Beijing 100044,China; 3.Ningxia Coal Industry Limited Liability Company Shuangma Coal Mine,China Energy Group,Yinchuan 750408,China)

Abstract:Image segmentation of mine personnel is one of the basic tasks to realize the technology of personnel detection,behavior recognition,video locating and tracking.However,due to the special underground environment in coal mine,it is difficult for conventional methods to meet the requirement of accurate segmentation of underground personnel.To solve the segmentation problem of personnel image in coal mine,a segmentation method based on superpixel granulation and the clustering of homogenous image granules is proposed,which is appropriate for the personnel images in various scenarios.Firstly,the simple linear iterative clustering (SLIC) model is employed to initially segment the personnel image in coal mine into superpixels units,moreover,the personnel superpixels are identified by the RGB similarity relationship between the superpixels and the marked personnel pixels in sample images.Secondly,the under-segmented personnel superpixels are detected and thoroughly segmented into two with the guidance of their neighbor superpixels,one is elite personnel superpixels and whose texture and grayscale features are extracted.Thirdly,the adjacent elite personnel superpixels with the most similar image features are defined as homogenous image granules,which merge with each other and cluster to generate a homogenous personnel region with specific semantic information.Finally,all the homogenous personnel regions together constitute the whole personnel region,and the personnel region is separated from the background.Personnel images of underground coal mine with four different scenarios are used to verify the performance of the proposed algorithm.The experimental results show that the F-measure value of the proposed algorithm of superpixel granulation is 2.11%,3.36%,13.16%,and 6.82% higher than the average value of the comparison algorithm,and the accuracy value of the proposed algorithm of clustering of homogeneous personnel image granules reaches up to 99.0%,100%,94.4% and 93.75% respectively.In addition,the proposed segmentation method has strong robustness and good segmentation effect for all personnel images in four different mine scenarios.

Key words:mine personnel;image segmentation;superpixel granulation;elite personnel superpixels;homogenous image granules;homogenous personnel region

中图分类号:TD67;TP391

文献标志码:A

文章编号:0253-9993(2021)04-1341-14

移动阅读

收稿日期:20200227

修回日期:20200408

责任编辑:郭晓炜

DOI:10.13225/j.cnki.jccs.ZN20.0293

基金项目:国家自然科学基金资助项目(51874299)

作者简介:李晓宇(1991—),女,内蒙古乌兰察布人,博士研究生。E-mail:l_xy@student.cumtb.edu.cn

通讯作者:杨 维(1964—),男,北京人,教授。E-mail:wyang@ bjtu.edu.cn

引用格式:李晓宇,杨维,刘斌,等.基于超像素粒化与同质图像粒聚类的矿井人员图像分割方法[J].煤炭学报,2021,46(4):1341-1354.

LI Xiaoyu,YANG Wei,LIU Bin,et al.Segmentation method for mine personnel images based on superpixel granulation and homogenous image granules[J].Journal of China Coal Society,2021,46(4):1341-1354.