随着电子技术与计算机技术在各个领域的广泛应用，国内综采工作面的技术装备已经实现了综采工作面的视频监控逐渐覆盖。但由于工作面巷道较长且煤层起伏，需要在工作面布置多个图像采集装置，图像采集装置不仅需要监控和巡逻工作面，在综采工作面的视觉自动找直等应用层次也发挥着重要作用[1-2]。
国家发改委与国家能源局提出的煤炭科学产能与智能化开采的目标，工作面直线度检测与井下虚拟现实技术等开发前景被广泛提出，所涉及到的图像拼接技术成为了众多煤矿企业与研究机构的研究方向[3-4]。为获取工作面视角范围较宽且分辨率较高的图像，引入了广角相机与全景相机等图像采集装置，但是所获取的图像往往因为失真而无法应用到相关的煤矿智能化开采中来，且在矿井下如果拍摄的图像场景足够大，图像的分辨率通常会比较小，无法保证井下监控的有效性以及一些细节的体现。而保证足够分辨率的同时，往往图像场景的范围又会很小[5-8]。为了解决分辨率与场景的矛盾，引入全局坐标系技术，将多个图像采集装置分布在不同的位置上，需要保证采集的图像有部分重叠，完成图像的拼接，保证了经全局坐标建立的图像场景大且分辨率高[9]。
国内外关于图像拼接的技术方法很多，包括浙江大学CAD&CG国家重点实验室和中国科学院自动化所模式识别国家重点实验室利用模板匹配的方法进行搜索来确定重叠区域边界的最佳匹配位置，从而获得拼接图像;2004年赵向阳、杜立民提出的一种基于特征点匹配的图像自动拼接算法，提高了拼接算法的稳定性，但计算与拼接速度较慢。在国外，图像拼接研究较早，算法也相对较为成熟，包括Dc Castro和Morandi将傅里叶变换应用到图像拼接中，在频域范围内对原始图像进行处理;1996年，Reddy和Chater ji对Dc Castro的算法进行了改进，提高了配准效率，但该种方法要求图像的重叠区域比例至少达到50%，不利于井下图像采集装置的布置[10-12]。
工作面图像采集装置由于固定的位置多为支架上，采煤过程中支架工作带来的抖动会影响图像采集装置，且工作面中复杂的光照环境对图像采集装置提出了严格的要求，为图像拼接带来了很大的难点[13-15]。虽然国内外提出了很多关于全局坐标系的原理和方法的研究，但很多全局坐标系建立的算法对煤矿井下应用有一定的局限性，笔者将对综采工作面多视觉全局坐标系进行研究，最后通过实验来验证算法的可行性。
1 综采工作面多机构建方法
全局坐标系需要保证图像采集装置对整个工作面的覆盖，并且相邻的采集装置所采集到的图像必须有重叠从而保证建立全局坐标系，因此解决工作面图像采集装置的布局也尤为重要。为了确保图像采集装置可采集到工作面或煤壁的有效图像，需将图像采集装置固定安装到支架立柱前方可固定的位置，一方面可以对图像采集装置进行保护，另一方面采集的图像不会出现因为图像抖动出现的失真现象[16-19]。综采工作面中所采集的图像质量较差，需要对采集到的图像进行必要的优化。
1.1 多视觉装置固定模型
由于视角不同，当图像由3D转换为2D时，二维图像需要表现出三维图像的体积空间，这不免会出现近大远小和近实远虚的情况，合理的安装方式可覆盖整个工作面的图像，最终选定将图像采集装置布置为正面煤壁[20-21]。如图1所示，为每隔2架支架布置1台摄像仪。
图1 隔2架支架布置1个摄像仪
Fig.1 A camera mounted on each three supports
设相邻2个支架的中心间距为p，采集装置布置点距离煤壁距离为q(即AG=q)，则
∠BAC =2θ
(1)
tan θ=BG/AG
(2)
BG=CG=EH=FH
(3)
CG+EH=2BG>GH=xp
(4)
因此，可得
(5)
再根据试验测试中工作面液压支架的特点，将p=1.5 m和q=2.5 m代入式(5)，可得
x=2时，∠BAC=62°
(6)
x=3时，∠BAC=84°
(7)
x=4时，∠BAC=102°
(8)
根据该试验情况与上述公式的验证，得出间隔不同的支架布置图像采集装置时对应的视场角。
根据如表1所述的不同英寸CCD(电荷耦合器件)与采集装置焦距的关系，并参考应用于综采工作面对于目标测试的有效距离等因素，最终确定选择图像采集装置搭配1/3"CCD，焦距为2.8 mm，对应的角度为89.8°，在试验的煤矿井下可满足研究的需求。
1.2 两台相机测量分析
在如图2所示的测量系统中，相机1测量范围为支架2～6，相机2测量范围为支架5～9。在实际系统中，两台相机的安装位置不可避免的出现一定角度。安装过程中，我们可以利用相机的重叠部分，图中为支架5和支架6对相机进行相互标定。
解决的思路是利用最小二乘法对支架5和支架6在相机1和相机2中的坐标分别建立方程，拟合出一个转换法则，使得各数据点与转换法则的偏差的平方和最小。
表1 镜头焦距与照射角度
Table 1 Corresponding table of lens focal length and irradiation Angle
镜头焦距/mm搭配1/3"CCD/(°)搭配1/4"CCD/(°)二者角度差异/(°)最佳距离/m2.889.875.514.31～33.675.662.113.52～44.069.856.912.93～66.049.939.710.25～108.038.430.38.17～1512.026.120.45.710～2016.019.715.34.420～30
图2 两台相机标定测量系统
Fig.2 Two cameras calibration measuring the measuring system
由图3可知，同一横向平面内转换方程为线性相关，其形式为
y=ax+b
(9)
假设任意点坐标为(xi,yi)，则数据点与直线的偏差为
(10)
如果测量偏差很小，则可以忽略x的测量误差，那么认为数据的主要偏差是y产生的，因此:
vi=Δyi=[yi-(a+bxi)]
(11)
那么偏差的平方和:
(12)
根据二元函数求极值法，对a，b分别求偏导，可以得到
(13)
令上式等于0，求解可得
(14)
式中
(15)
(16)
(17)
由式(14)可求出a,b的值，进而可以得到坐标转换的方程。
当系统中有多台相机时，利用重叠部分依次进行坐标的测量和转换，就可以得到全工作面的图像信息。
2 多机全局坐标系系统方案
全局坐标系建立首先需要进行图像预处理，尤其针对井下环境需要进行图像优化。优化后的图像需要根据特征点的匹配与定位，确定图像的变换关系，根据变换关系建立数学变换模型，完成统一坐标的变换。最终采用加权平滑融合的方式去除由于视场不同带来的拼接裂缝，完成图像拼接融合。
2.1 多视觉图像优化
综采工作面中的环境较为恶劣，往往出现两种较为极端的环境，包括采煤机工作过程中会带来较为严重的煤尘，且工作面整体的亮度并不理想，一般低于8 Lux，为后期图像的数字图像处理带来很多不利因素;另外，由于井下生产活动需要布置的大瓦数的照明装置，所带来的强光比较集中，且光谱较差，对图像采集装置提出更高的要求。因此在图像采像采集装置的选择上，调研多种国内外CCD模块，进行相应的测试，在低照度优化的情况下，选择透雾效果较好，且图像增强细化效果好的WATEC厂家的机芯。但图像采集装置面对煤矿井下的环境采集的图像仍不能直接用于试验研究，需要在图像处理的层面上优化所采集的图像。
采集的综采工作面需要进行图像的增强，增强图像对比度，使图像的灰度在整个灰度范围内分布的更为均衡，在穿透直方图均衡与灰度变换的方法上进行改进。分区域对采集的图像进行分析，对灰暗的区域进行非线性灰度拉伸，保证该区域图像的亮度满足研究的需求;对强光区域进行相应的抑制，压缩灰度值的动态范围，完成对源图的改进直方图均衡化。
将图像像素的灰度范围设为0～255，假设采集图像中有W个像素点，灰度为j的像素点的数目为wj可得出灰度为j的像素点的概率为p(j)。
(18)
当0<j<255时，假设概率低于pmin/3的像素点为频次超低点。当满足灰度为j的像素点对应的概率满足以下条件时:
P(j+1)+p(j)+p(j-1)≤pmin
(19)
(20)
可认定灰度为j的像素点频次超低，则需将灰度为j的像素点放入集合Cmin中，相反将频次超高的点放入集合Cmax，其中P(j-1)为灰度为(j-1)像素点的概率，P(j+1)为灰度为(j+1)像素点的概率。剩下像素点的灰度放入集合C0。
按照算法对Cmin灰度压缩，Cmax与C0的集合完成相应的灰度拉伸。
通过试验过程中应用该改进型算法，可实现对工作面采集图像的增强与优化，增加图像中的相关细节，去除图像中无效的数据，图像中原本相邻的灰度差更为明显，增强型的图像效果更有利于后续全局坐标系图像拼接的建立。
图3 工作面直方图均衡化效果
Fig.3 Working face histogram equalization renderings
如图3所示，图3(a)为原始工作面图像，图3(b)为其对应的直方图，图3(c)为工作面普通直方图均衡化方法的效果，图3(e)为改进型直方图均衡化的的图像拉伸效果。由图中可以看出普通直方图均衡化方法的效果使得图像更为模糊，丢失了图像的相关细节，而经改进型直方图均衡化的的图像有很高的辨识度，细节体现较为明显，对后期图像拼接过程奠定了良好的基础。
2.2 图像配准
2.2.1 特征点提取与匹配
图像中总是有一些很特别的像素点，这些点作为这些图像的特征存在，故而被称为特征点。在视觉领域中，做到图像特征匹配需要以特征点为基础，且需要图像中有足够多的特征点，特征点彼此间不同、特征稳定，才能做到对特征点的精准定位，然后将特征点进行匹配。在全局坐标系建立的过程中，有很多算法进行匹配，例如Sift算法，Surf算法，Fast算法，ORB算法等，通过各算法的权衡与测试，笔者最终以Surf算法作为研究方法。
Surf，全称为Speeded-Up Robust Features，即加速稳健特征。该算子对图像旋转、变换以及仿射变换保持不变性的图像局部特征描述算子，且克服了 Sift 算法的复杂性，同时缩短了运行的时间，对图像中特征点的有效分析与方向定位进行了效果提升。
该算法首先需要构建经过高斯滤波的Hessian矩阵，表述为
(21)
矩阵中的元素为对高斯滤波后图像
在各个方向上的二阶导数，可计算矩阵判别式的局部极大值，从而判断邻域内相比于当前点其他较亮或较暗的点，对特征点进行准确的定位。其判别式可表示为
det(H)=Dxx*Dyy-Dxy*Dxy
(22)
因为Surf使用的盒式滤波器代替了高斯滤波器，所以要在Dxy前乘以一个加权系数来平衡更换滤波器带来的误差，经研究测试，系数0.9不会对结果产生较大的影响。
2.2.2 金字塔结构构建
为保证图像在不同图像中适应目标尺度变换，让图像拥有尺度不变性的特性，需构造如图4所示的金字塔结果。该算法可允许尺度空间的多层图像被同时调用，以防止二次抽样带来误差。图4(a)为传统算法建立的金字塔，图像的尺度会发生多次改变，且每次改变都需要用高斯函数对其做平滑处理，而建造图4(b)所示的金字塔可保证原始图像不发生变化，变化的是滤波器的大小。
图4 金字塔模型
Fig.4 Pyramid model diagram
2.2.3 特征点定位
用三维领域的26个点与经过Hessian矩阵处理过的每个像素点进行大小比较，如果该像素点是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点，再用三维线性插值法去掉一些低于阈值或定位错误的点。
2.2.4 特征点的主方向分配
统计特征点圆形邻域内的Harr小波特征，以特征点为中心，取Harr小波边长为4s(s为所检测到该特征点所在的尺度)，以60°扇形进行间隔期的旋转。将该范围内的响应相加形成新的矢量，当遍历完整个圆形区域时，再次统计该区域内Harr小波特征值，其中以最长矢量方向为特征点的主方向，如图5所示。
图5 分配特征点主方向
Fig.5 Assignment of the main direction of feature points
2.2.5 特征点描述子完成
通过对特征点周围取矩形区域块，取该矩形区域的各边长都为20s，所取的矩形区域方向为上步所确定的主方向。将该矩形区域划分为16个区域，相对于主方向，在每个区域内计算25个像素的水平和垂直方向的Haar小波特征值。这些值包括水平方向值的和以及绝对值的和，垂直方向值的和以及绝对值的和，因此每个区域有4个值，每个特征点即为16×4=64维的向量，此向量在图像匹配中提升了匹配速度。
图6(a),(c)为工作面匹配基准图，图6(b),(d)为待匹配的综采工作面的图，经过上面的步骤，将两图进行特征点的提取与匹配，匹配结果如图7所示。
图6 综采工作面匹配
Fig.6 Matching chart of fully mechanized mining face
图7 特征点匹配
Fig.7 Feature point matching graph
2.2.6 误匹配算法消除
通过匹配的效果发现有明显的部分匹配点是错误的，过多的错误匹配点会给后续的全局坐标的建立带来严重的影响，因此需要对将错误的匹配点进行消除，在此我们采用RANSIC算法来优化匹配算法。RANSIC算法是估计模型中的一种算法，可有效去除噪声影响，其算法思路为从其数据点组成的集合中抽取部分数据点拟合出一个模型来解释这些数据点的分布，如果满足设定的阈值，即为正常匹配的特征点，超过阈值的即为错误的测量方法或噪声极值引起的不满足匹配的特征点，通过RANSIC消除误匹配特征点的匹配结果如图8所示。
图8 消除特征点误匹配
Fig.8 Eliminating feature point mismatching graph
2.2.7 角点检测配对
通过消除误匹配的一些特征点，当搜索有价值的特征点时，会发现大部分不合格的特征点均已去除，只有约200多个匹配点，若想让综采工作面低照度的图像获得更好的融合，需要更多特征点来满足匹配需求，通过试验研究发现增加角点检测可满足应用需求。角点的价值在于它是两条边缘线的接合点，是一种二维特征，可以被精确地定位。通过Harris特制检测来检测角点，如图9所示。
图9 角点检测匹配
Fig.9 Corner detection matching graph
2.3 统一坐标变换
通过匹配特征点的坐标来确定透视矩阵，通过透视矩阵的图像即可进行图像的融合。透视矩阵的表达式为
(23)
计算完透视矩阵，将H矩阵的所有元素都除以m33，可得
(24)
获得了透视矩阵之后，进行图像的变换:
(25)
其中，a′,b′分别为图像的横纵坐标，经变换的图像的横纵坐标为a/c,b/c，即式(26),(27)中的x和y:
(26)
(27)
透视矩阵中各参数对应的功能各不相同，如m11可控制图像缩放，m12可进行旋转、修剪，透视矩阵中各参数对应的功能各不相同，如m11,m21，m12，m22可控制图像缩放与旋转，m31，m32可控制图像平移，m13,m23可实现将图像透视变换。经透视变换的图形如图10所示，其中的透视变换矩阵及变换坐标分别对应图11。
图10 透视矩阵变换
Fig.10 Perspective matrix transformation diagram
图11 透视矩阵及坐标
Fig.11 Perspective matrix and coordinate diagram
3 图像融合实验
3.1 平面拼接
全局坐标的统一即可让图片直接进行平面拼接，但是在拼接过程中因为不同图片的光照色泽信息不一致，在图像拼接过渡的时候会出现明显的拼接缝隙，即使是综采工作面的同一相机采集装置，其灰度的细微差异也会引起拼接的裂缝，如图12(a)所示，顶部有明显拼接裂缝。
图12 去除拼接裂缝前后对比
Fig.12 Comparing before and after removing splicing cracks
3.2 图像融合
经过中值滤波、小波变换等多种消除拼接裂缝的融合方式，笔者采用加权平滑融合的方式消除拼接裂缝，该方法为将重叠的部分将前一幅图像慢慢过渡到第2幅图像。为防止行与行之间的灰度值差异过大而引起新的拼接裂缝，第1行需按照灰度值差异最小的原则来处理，其他各行都需要选择规定的邻域内灰度差异最小的点作为拼接点，拼接的裂缝现象就得到了很好的处理。该邻域的范围不能设置太大，经实验测试选取3即可，然后按加权平滑对重叠区域再进行过渡，将重合部分的像素值按照一定的权值相加生成新的图片。去除裂缝的图像融合图如图12(b)所示。
图13 两幅图像实现图像融合
Fig.13 Two-fusion
通过多视觉图像的采集与融合，两幅图像融合后的图像如图13所示，3幅图像融合后的效果如图14所示，实验证明建立全局坐标系可实现多幅图像的融合，实现的图像融合效果较好，可满足大多数工作面的测试或监控，且算法的速度较快，实用性较高，达到了预期的目的。
图14 3幅图像实现图像融合
Fig.14 Three-image fusion
4 结 论
(1)针对综采工作面图像亮度低且质量差的问题，提出一种直方图均衡化方法，将图片的细节重点突出，为后续图像拼接奠定了良好的基础。
(2)将优化后的图片通过Surf方法实现了其特征点的快速采集，采用算法将误匹配的特征点有效去除，且提出使用角点检测的方法提高了有效特征点的数量，有效提高了匹配的准确度。
(3)通过建立透视矩阵的方式快速建立全局坐标系，并对图像因灰度差异引起的拼接裂缝有效处理，使拼接图像满足综采工作面图像应用的层次。
(4)该方法存在着一定的缺陷，即需要对多视觉采集的图像满足一定重叠的要求较高，对现场环境多视觉装置的安装带来了一定的难度，后续研究应考虑降低重叠度的要求。
[1] 孙继平,佘杰.基于支持向量机的煤岩图像特征抽取与分类识别[J].煤炭学报,2013,38(S2):508-512.
SUN Jiping,SHE Jie.Coal and rock image feature extraction and classification recognition based on support vector machine[J].Journal of China Coal Society,2013,38(S2):508-512.
[2] 王国法.煤矿综采自动化成套技术与装备创新和发展[J].煤炭科学技术,2013,41(11):1-5.
WANG Guofa.Innovation and development of fully mechanized mining automation technology and equipment[J].Coal Science and Technology,2013,41(11):1-5.
[3] 智卫.虚拟现实技术在电视节目中的应用[J].演艺科技,2017,2:41-45.
ZHI Wei.Application of virtual reality technology in TV programs[J].Science and Technology for Performing Arts,2017,2:41-45.
[4] 黄邵杰.基于聚类的煤岩分界图像识别技术研究[D].北京:中国矿业大学(北京),2015.
HUANG Shaojie.Study on image recognition technology of coal and rock boundary based on clustering[D].Beijing:China University of Mining and Technology (Beijing),2015.
[5] 孙继平,陈浜.基于双树复小波域统计建模的煤岩识别方法[J].煤炭学报,2016,41(7):1847-1858.
SUN Jiping,CHEN Bang.Coal and rock identification method based on statistical modeling of double-tree complex wavelet domain[J].Journal of China Coal Society,2016,41(7):1847-1858.
[6] LIAO Chihwei,YU Jiunhung,TARNG Yeongshin.On-line full scan inspection of particle size and shape using digital image processing[J].Particuology,2010,2(3):286-292.
[7] 杨炳坤,程树英,郑茜颖.一种面向图像拼接的改进PCA-SIFT算法[J].微电子学与计算机,2018,12(6):70-75.
YANG Bingkun,CHENG Shuying,ZHENG Xiying.An improved pca-sift algorithm for image Mosaic[J].Microelectronics & Computer,2018,12(6):70-75.
[8] HAMERLY G,ELKAN C.Alternatives to the k-means algorithm that find better clusterings[J].ACM,2002,11(1):600-607.
[9] 孙凯凯.基于图像的煤矸识别方法研究[D].西安:西安科技大学,2018.
SUN Kaikai.Research on image-based coal gangue identification method[D].Xi’an:Xi’an University of Science and Technology,2018.
[10] 杨艳伟.基于SIFT特征点的图像拼接技术研究[D].西安:西安电子科技大学,2009.
YANG Yanwei.Research on image Mosaic technology based on SIFT feature points[D].Xi’an:Xi’an University of Electronic Science and Technology,2009.
[11] 田成金.薄煤层自动化工作面关键技术现状与展望[J].煤炭科学技术,2011,39(8):83-86.
TIAN Chengjin.Key technology status and prospect of thin coal seam automation working face[J].Coal Science and Technology,2011,39(8):83-86.
[12] 贾莹.基于Harris角点检测算法的图像拼接技术研究[D].吉林:吉林大学,2010.
JIA Ying.Research on image mosaic technology based on Harris corner detection algorithm[D].Jilin:Jilin University,2010.
[13] 颜雪军,赵春霞,袁夏.一种鲁棒的基于图像对比度的局部特征描述方法[J].电子与信息学报,2014,41(4):882-887.
YAN Xuejun,ZHAO Chunxia,YUAN Xia.A survey of remote sensing image registration techniques[J].Journal of Electronics and Information Technology,2014,41(4):882-887.
[14] 刘玉淑.基于多尺度变换的图像去噪及融合算法研究[D].济南:山东大学,2013.
LIU Yushu.Research on image denoising and fusion algorithm based on multiscale transformation[D].Jinan:Shandong University,2013.
[15] 周美丽,白宗文,延小进.基于相位相关法的图像拼接系统设计[J].国外电子测量技术,2015,5(3):31-33.
ZHOU Meili,BAI Zongwen,YAN Xiaojin.Design of image mosaic system based on phase correlation method[J].Foreign Electronic Measurement Technology,2015,5(3):31-33.
[16] 刘卫.新型小波变换域图像去噪及融合算法研究[D].合肥:合肥工业大学,2013.
LIU Wei.Research on new wavelet transform domain image denoising and fusion algorithm[D].Hefei:Hefei University of Technology,2013.
[17] 江铁,朱桂斌,孙奥.全景全局坐标系技术研究现状综述[J].重庆工商大学学报,2012,12(3):60-65,71.
JIANG Tie,ZHU Guibin,SUN Ao.Summary of the research status of panoramic global coordinate system[J].Journal of Industrial and Commercial University of Chongqing,2012,12(3):60-65,71.
[18] 徐止喜.基于匹配的全局坐标系关键技术研究与实现[D].成都:电子科技大学,2013.
XU Zhixi.Research and implementation of the key technology based on the matching global coordinate system[D].Chengdu:University of Electronic Technology,2013.
[19] 李美静.基于OpenCV的广角镜头畸变校正及全局坐标系算法研究[D].长春:长春工业大学,2012.
LI Meijing.Research on OpenCV based wide-angle lens distortion correction and global coordinate system algorithm[D].Changchun:Changchun University of Technology,2012.
[20] 余先川,吕中华,胡丹.遥感图像配准技术综述[J].光学精密工程,2013,21(11):2960-2972.
YU Xianchuan,LÜ Zhonghua,HU Dan.A survey of remote sensing image registration techniques[J].Optical Precision Engineering,2013,21(11):2960-2972.
[21] 丁南南.基于特征点的图像配准技术研究[D].长春:中国科学院研究生院(长春光学精密机械与物理研究所),2012.
DING Nannan.Research on image registration based on feature points[D].Changchun:Graduate University of Chinese Academy of Sciences (Institute of Optical Precision Machinery and Physics,Changchun),2012.
