煤炭经过几十年的持续大规模开发，浅部资源越来越少，开采深度不断增加。深部开采面临高地压、高地温及复杂地质条件等多因素制约[1]，作为井工开采核心作业系统的工作面综采成套装备(液压支架、采煤机、刮板输送机、转载机及超前支护装备等)，处于围岩变形、矿压冲击的动态变化环境中，原本队列整齐、协调一致的设备群会随顶底板及煤层条件随机倾斜、错动，无法保持正常的空间位姿和力学状态。例如，中煤新集口孜东矿为千米深井软岩条件，直接顶为泥岩和砂质泥岩复合岩层，围岩变形严重、矿压显现频繁，这种条件下装备位姿及受力变化极不规律。
现有的自动化开采装备系统难以适应大幅动态变化的应用环境。围绕这一难题，专家学者开展了大量研究，提出了很多新理论、新技术。王国法率先提出工作面综采装备群组自适应协同控制是突破复杂地质条件工作面自动连续开采的核心技术[2-8]。然而，综采装备群协同动作多、准确性及响应速度要求高，自适应控制面临以下3方面难题:
(1)装备群位姿监测问题。实现深部复杂条件下的综采成套装备工艺自动化、运动协同联动首先要全面、实时、准确的感知每一台装备的空间位姿，从而确定其当前状态值与期望值的偏差，给出控制策略和控制参数值[9]。目前针对“三机”设备位姿状态测量主要有惯性测量、非接触感应测量及视觉测量等方法。惯性测量是指利用惯性元件测得的三轴加速度和三轴角速度信息，并结合设备初始位姿信息，经过积分运算获取设备的位置和姿态数据。采煤机姿态、液压支架倾角、刮板输送机直线度(LASC系统)等都是采用该类方法[10-13];非接触感应测量是利用超声波反射、红外对射、激光传感器等获取采煤机与液压支架、液压支架之间等相互位置关系[14-16];视觉测量是近年来提出的井下信息采集新方法，借鉴视觉测量系统在工业领域的应用，由单参数测量到多参数测量，为解决刮板运输机直线度测量与调直、液压支架空间位姿实时监测等难题提供了技术途径[17-18]。目前综采装备位姿监测的数据是局部、零散和相对的，无法全面描述复杂条件下的装备状况。
(2)综采工作面装备位姿一体化描述及驱动关系建模问题。工作面装备之间的各种位姿关系目前还只能依靠多个独立的监测系统分别获取，没有在一个系统中实现同步测量[19]。装备之间在进行协调联动控制时不能基于同一基准的空间位姿数据[20]。现有基于局部参数的动作触发无法支持复杂地质条件下开采所需的装备频繁、准确、动态的运动控制需求。因此，必须建立综采装备整体坐标系和一体化描述及驱动模型，全面描述设备之间的全空间位姿，为自适应协同控制提供基础数据和控制依据。
(3)基于真实数据驱动的虚拟现实控制技术。综采装备群自适应协同控制需要对感知到的数据进行分析计算、预测仿真和控制规划，因而依托工业仿真与可视化技术的虚拟现实技术变得极为重要[21]。该技术可将物理空间中的实体映射为对应的信息空间虚拟对象，并通过真实数据驱动、智能分析、实时交互等实现对生产场景的虚拟仿真和装备决策控制。基于真实数据驱动的虚拟现实技术在先进智能制造领域被称为数字孪生(或数字双胞胎)技术，是未来工业发展的关键技术，已经应用于机械装备制造[22]、产品设计[23]、自动化生产线开发[24] 等多个领域。煤炭行业也为引入该技术开展了大量的研究工作，提出了一种基于数字孪生的综采工作面生产系统设计与运行模式[25-26]。设计了基于Unity3D的综采工作面全景虚拟现实漫游系统，并实现了综采设备的三维虚拟展示和运动仿真模拟[27]。虽然这些研究在三维建模、环境仿真等方面取得了进展，但还缺乏数据深入分析、运动关系约束、双向数据驱动等方面的深入研究，因而并未形成真正驱动煤矿实际运行的生产力。
笔者提出了全位姿测量及虚拟仿真控制的智能开采模式，在综采装备群位姿监测、一体化描述及驱动关系建模和虚拟现实技术方面展开深入研究。提出融合视觉的工作面综采装备全位姿多参数测量技术，给出综采装备群统一坐标描述及驱动模型，开发基于Unity3D的综采虚拟仿真系统，为突破工作面综采装备群自适应协同控制技术、解决复杂地质条件下工作面自动连续开采难题提供技术手段。
1 复杂条件智能开采模式及关键技术
在煤层赋存较好的简单条件工作面，综采装备群在自动化系统控制下即可实现较高的生产效率，工人作业环境及劳动强度得到有效保障和明显改善。从装备群系统运行方式及开采模式的角度，简单条件下的开采工艺、装备及控制程序配置都是相对固定的。通过设定应对不同情况的开采工艺、结构及程序虽然可提高系统适应性，但并不能应对较大的开采条件变化。因此，简单条件自动化更多的还是工人体力的延伸和替代，开采模式还处于“人-机”二元架构。
对于复杂地质条件而言，煤层赋存变化大、开采过程中突发影响因素多，自动化系统无法单独连续运行，必须随时人工干预才能完成开采工艺过程。这种方式不但开采效率低，而且人工控制的稳定性及作业安全性难以保证。因此，迫切需要创新复杂地质条件下的自适应开采技术，将工人的环境感知、分析计算及决策能力融入到自动控制系统中，形成一个能够自主决策的智能化运行体系，从而与动态变化的开采环境自动适应，实现复杂煤层条件的安全高效开采。自适应的智能化运行系统能够替代一部分人的大脑功能(基于虚拟仿真系统实现)，与反向控制(神经网络)、环境装备(躯干)共同组成一个完整的“三元体系”，形成复杂地质条件智能开采的运行模式，如图1所示。
图1 复杂地质条件下的智能开采模式
Fig.1 Smart mining pattern for complex mining conditions
智能开采模式与自动开采模式最大的不同在于具有智能决策能力，而这种能力的实现并不是在系统中预设更多的解决方案，而是使系统拥有自主分析、推理和预测功能，然后才可以做出判断和决策。类似于人脑，在做决定之前也是先对即将发生的状况进行预演，分析可能的结果，并做出最终决策。“环境装备-仿真模拟-反向控制”(Surrounding-Virtual-Control,SVC)三元体系的智能决策过程为:
环境装备感知:获取工作面地质条件、矿压等环境参数，装备运行状态、设备性能、突发扰动等动态数据;驱动仿真模型实现三维场景镜像。
仿真模拟计算:将工作面综采装备运行过程的空间位姿和围岩地质参数、矿压数据融合在一起，沿时间维度形成装备运行的空间场模型及应力场模型，两场数据叠加得出某一时刻围岩形态、工作面采高及装备直线度、仰俯角度等状态，并判断是否正常。
反向优化控制:基于恢复正常状态、提升装备运行效率和适应性目标，优化计算得出下一开采循环液压支架支护阻力、最佳移架时间、采煤机割煤速度和采高、护帮板收放时间、顶板下沉量、刮板输送机推移距离和上窜下滑量等运行控制参数;且每一截割循环完成后，均根据生成的实际数据自动重新修正后续模型和更新预测计算数据，保证预设控制和实际地质条件的吻合度，提升工作面运行质量。
为支撑SVC智能决策过程，给出融合视觉的装备全位姿监测、工作面装备位姿一体化描述及驱动关系建模、基于Unity3D的综采虚拟仿真控制3项关键技术。复杂开采条件下智能开采关键技术架构如图2所示，对于工作面开采来说，获知装备空间位姿数据是最为主要的，位姿测量可同时为虚拟仿真系统和分析计算提供数据。分析计算得出的结果和控制指令可通过数据接口传输给虚拟仿真系统的反向控制模块，优化和更新控制参数以适应复杂地质条件。装备位姿一体化描述及驱动建模为虚拟模型的运动仿真和分析计算提供支持。
图2 复杂开采条件下智能开采关键技术架构
Fig.2 Key technologies framework of smart mining under complex conditions
(1)融合视觉的装备全位姿监测。
由于顶板破碎、底板松软、煤壁片帮、矿压显现、煤层变化等地质条件变化严重影响着装备的空间位姿、运行状态及参数。如不能获取装备群空间全位姿参数，则无法驱动虚拟模型实时、准确模拟工作面装备实际运动状况。为此，建立融合视觉的装备全位姿监测系统，将现有测量技术与视觉扫描、图像识别技术[28]融合，实现井下复杂条件下采煤机、刮板输送机和液压支架位姿状态的实时、精确、稳定测量。
(2)装备位姿一体化描述及驱动关系建模。
综采工作面装备群的虚拟仿真模型需放在统一的空间下进行显示和数据处理，因此后台的空间坐标系及驱动模型也需要统一设置并实现一体化关联建模。在装备全位姿测量系统基础上，在工作面空间设置统一的全局坐标系，将测量等得到的局部角度、距离、姿态数据等转换到全局坐标系下进行计算;同时，装备之间存在的空间关联关系也采用数学模型进行一体化描述。另外，设备在偏离自身正常空间位置和姿态后，会和相邻设备产生新的约束及驱动关系，这些关系既是位置的函数，也是时间的函数，同样需要建立全面统一的时空模型来描述。
(3)基于Unity3D的综采虚拟仿真控制技术。
虚拟仿真不是简单的三维显示，而是分析计算、推理决策的依据和载体。现有虚拟仿真系统虽然在显示上能够满足需要，但在实时数据处理、分析计算及模拟、反向数据驱动等方面还缺乏深入研究。基于Unity3D的综采虚拟仿真控制技术在实现三维建模、运动仿真的基础上，就是要解决与实际数据接口、分析计算及控制链路生成问题，实现开采装备的状态监控和过程优化反向控制，形成数据交互、虚实镜像、闭环反馈的智能开采支撑技术。
2 融合视觉的综采装备群全位姿多参数测量
综采装备群全位姿测量是虚拟仿真系统能否发挥作用的关键。以往的测量方法都是针对单一设备或者设备间的单一尺寸(角度)参数，没有建立成套装备完整的全空间位姿参数感知系统，因而无法同时获取并准确描述某一时刻综采装备群的空间全貌。
2.1 工作面综采装备群全位姿参数
工作面综采装备全位姿测量是指通过位移传感器、倾角传感器、惯导、视觉等技术在一个测量系统下同时获取能够描述装备群空间位姿参数的最小数据集。通过分析装备之间的空间约束关系、位姿参数关联关系等，给出了包括15个参数的综采装备群全位姿参数集。通过这15个参数可描述工作面装备群在任意时刻的空间状态，如图3所示。
图3 综采装备全位姿示意
Fig.3 Full position and orientation diagram of longwall mining equipment
综采装备群全位姿参数集Pmq包含了采煤机、刮板输送机和液压支架自身的位姿参数及其相对位姿参数，其数学表达式为
Pmq={(Si|i=1～4),(Hj|j=5～9),
(Ck|k=10～12),(Rm|m=13～15)}
(1)
式中，Si为采煤机4个位姿参数，包括3个转动倾角和摇臂高度;Hj为5个液压支架位姿参数，包括底座绕Y轴倾角(与水平面夹角)，顶梁倾角(与水平面夹角)，支架高度，推移距离，护帮状态;Ck为3个刮板输送机位姿参数，包括水平弯曲(XOY平面内偏移基准线距离)，底板起伏(绕Y轴旋转)，扭转角度;Rm为设备间3个相对位姿，包括采煤机滚筒和支架护帮板距离，采煤机距刮板输送机机头距离，刮板输送机中部槽与支架推杆的夹角。
由于不同设备的位姿有其自身的特点，同时获取上述15个参数需要合理布置各类传感器的位置和数量，测量精度也要能够满足控制需求，下面给出融合视觉的综采装备全位姿测量方案。
2.2 融合视觉的综采装备群全位姿测量方案
融合视觉的综采装备全位姿测量方案如图4所示。安装在采煤机上的惯导系统测量其沿3个轴的转动角度S1，S2和S3，高精度轴编码器测量摇臂转动角度S4;行走轮轴编码器测量采煤机行走位移R14;在液压支架顶梁、连杆和底座上安装倾角传感器，测量支架整体姿态H5和H6，并计算支架高度H7;在支架推移千斤顶上安装位移传感器测量推移距离H8，在刮板输送机上安装光纤光栅测弯装置监测水平弯曲度C10[29];C11和C12由S1，S3和H5融合计算得出;采煤机和支架之间的距离R13、刮板输送机和支架之间的角度R15以及护帮板状态H9可由视觉传感器采集的图像进行分析计算。这些传感器先经过各自解算模块得出精确可靠数值，再发送至统一的全位姿融合解算系统中，并连接至虚拟仿真模型。
图4 综采装备全位姿测量方案
Fig.4 Full position measurement scheme for longwall mining equipment
视觉测量受井下黑暗、粉尘等条件限制，测量效果依赖于摄像头位置、角度及数量。以端头液压支架为基准布设视觉测量装置，且每隔5～10架布置1个，用于测量液压支架护帮板状态、采煤机与液压支架的相对位姿、液压支架与刮板输送机的相对位姿，并且通过多视觉测量装置的融合还可以测量工作面的直线度。视觉测量装置由其安装所在的支架位姿监测装置校正。在采煤机上安装惯导系统，结合采煤机自带的轴编码器也可以实现采煤机的位姿测量和刮板输送机的直线度测量，在有视觉测量融合纠正的情况下可以降低惯导系统的精度要求和矫正时间。上述测量方案一方面解决了相对位姿测量难题，另一方面大幅减少传感器的用量，同时做了适量的测量数据冗余，大幅提高了测量系统可靠性。
2.3 基于设备特征点的视觉测量方法
将视觉测量原点定在工作面端头，每隔5～10架布置一个视觉测量装置，如图5所示。
图5 视觉测量装置布置示意
Fig.5 Schematic layout of visual measuring device
用于综采装备的测量时首先通过图像识别出不同的综采装备，然后提取能够解算姿态的设备特征点，例如支架顶梁、掩护梁平衡千斤顶铰点，采煤机滚筒中心等。通过计算特征点间距离和偏斜角度即可得出相应的位姿结果。视觉测量系统有单目视觉测量、双目视觉测量和多目视觉测量，这里以单目视觉测量为例建立其测量模型，如图6所示。
图6 单目视觉测量模型
Fig.6 Single eye visual measurement model
图7 PQ投影
Fig.7 PQ projection
摄像头安装在点O处，高度为h。如图7所示，其中，θ1为摄像头视线中轴与水平方向的夹角;θ2为摄像头视线中轴与垂直地面方向的夹角;α为摄像头视窗最左侧与最右侧之间的夹角;β为摄像头视窗最上端与最下端之间的夹角，单目相机获取的为横向像素为a、垂直像素为b的视觉图像;O为视觉测量原点;P，Q为固定的测量特征点;M，N为P，Q两点在单目相机成像单元上的对应点。根据单目摄像头的成像原理，自图像顶端起垂直方向上第m个像素与第m+1个像素间的实际投影距离y[m]为
(2)
式中，m=0,1,2，…，a-1。
同理可得水平方向上第n个像素与第n+1个像素间的实际投影距离x[m]为
(3)
式中，n=0,1,2，…，b-1。
设P，Q两点在相机中对应点M，N的坐标值分别为(i，s)和(j，t)，则P，Q垂直投影长度l1为
(4)
P,Q水平投影长度l2为
(5)
可求得PQ的长度l为
(6)
P，Q与水平面的夹角φ为
(7)
同理,可求得设备在其他各方向上的姿态角。
结合综采设备特征点的识别，可依据以上方法解算出综采设备的姿态角和相对位置关系，实现综采装备单一传感器多位姿参量的测量。
3 综采装备群位姿一体化描述及驱动关系建模
3.1 工作面三机全局坐标系及局部坐标系
工作面全局坐标系应该能够简单、便捷、惟一的描述和计算综采装备在空间的任何姿态。如图8所示，这里提出一种全局坐标系的建立方式，以工作面底板平面、转载机长度方向竖向中心对称平面和刮板输送机中心对称平面构成统一坐标系的基准平面;其中，3个平面交点为坐标原点O，以工作面长度方向为X轴正方向，工作面推进方向为Y轴正方向，垂直向上方向为Z轴正方向。
图8 综采工作面全局坐标系及装备局部坐标系
Fig.8 Global coordinate system at mining face and local coordinate on equipment
为将传感器测量得到的局部相对位姿关系在全局坐标系中描述，首先在装备上建立局部坐标系，再将局部坐标系下的位置信息转化到全局坐标系下:
(1)液压支架局部坐标系。以液压支架与刮板输送机连接十字头的中心交点为液压支架局部坐标系坐标原点Ohj，以平行于底板、穿过液压支架局部坐标系原点的平面作为底平面，以支架底座宽度方向为X轴方向，以支架底座长度方向为Y轴方向，垂直向上方向为Z轴正方向。
(2)采煤机局部坐标系:以采煤机几何中心为局部坐标系坐标原点Os，以所述采煤机机身长度方向为X轴方向，以工作面采煤推进方向为Y轴正方向，以垂直向上方向为Z轴正方向。
(3)刮板输送机局部坐标系:以中部槽长度方向中心平面、液压支架与刮板输送机连接十字头中心交点并与中部槽底板平行的平面和中部槽垂直方向中心平面为3个基准平面，以3面交点为刮板输送机局部坐标系坐标原点。以工作面走向长度方向为X轴正方向，工作面推进方向为Y轴正方向，垂直向上方向为Z轴正方向。其中每个工作面包含多个液压支架，每个刮板输送机包含多节溜槽，每个液压支架和刮板输送机溜槽对应一个局部坐标系。
3.2 坐标系转换及驱动关系建模
3.2.1 局部坐标系统与全局坐标系转换
坐标系之间存在沿3个坐标轴的移动和旋转6个自由度。局部坐标系下的装备自身姿态需要转化至全局坐标系下进行统一描述。坐标系之间的转化可通过原点之间的平移和绕不同的坐标轴转动实现，局部坐标系变换至全局坐标系的变换矩阵
可表示为
(8)
式中，
为局部坐标系转换至全局坐标系的变换矩阵;α，β，γ分别为局部坐标系绕X，Y，Z轴旋转的角度;t为局部坐标系原点相较于全局坐标系原点的平移距离;平移矩阵T(t)可表示为
(9)
绕X，Y，Z轴旋转矩阵Rx(α′)，Ry(β′)，Rz(γ)可表示为
(10)
(11)
(12)
故计算可得方向余弦矩阵的表达式为
(13)
方向余弦矩阵中各元素均会随着设备移动而变化，全位姿监测系统得出的数据均可通过上述方法实时转换为统一的空间位姿数据，从而驱动虚拟仿真系统中设备模型的每一个运动单元。采煤机和每个液压支架均需通过坐标系变换计算和确定自身在某一时刻的位姿。由于液压支架数量多，且在推进过程中涉及收护帮板、降柱、调架、升柱、推移等过程，因此液压支架不仅在工作面中的位置及整体位姿在不断变化，其内部结构的相互位置关系也会发生变化，需要较多传感器进行监测，坐标转换和计算量较大。
3.2.2 采煤机位姿驱动关系建模
采煤机是工作面关键装备，其空间位姿十分重要，直接关系到工作面顶底板形态及割煤质量。由于采煤机沿刮板输送机行走，故其空间位姿与刮板输送机位姿直接关联。目前采煤机位姿虽然可以通过惯导系统直接求出，但需要对加速度传感器进行两次积分，对加速度传感器的精度要求较高;而且在实际工作过程中，采煤机开机时需要对惯导进行较长时间的初始化来确定采煤机的初始位姿，从而影响工作面生产。为解决这一问题，在虚拟仿真系统中可通过采煤机和刮板输送机之间的接触和驱动关系计算出采煤机在各个方向上的位置和角度。
如图9所示[27,30]，设采煤机运行一段时间后位于刮板输送机第n节中部槽上，其一端支撑滑靴左端位于中部槽P点处，O1为支撑滑靴特征点，则根据几何关系，可计算得到支撑滑靴特征点的坐标(xB2,yB2,zB2)[27]为
其中，βi，βn分别为第i节和第n节刮板输送机中部槽与全局坐标系X轴夹角;γi，γn分别为第i节和第n节刮板输送机中部槽与全局坐标系Y轴夹角;Lc为每节中部槽长度;Ln为支撑滑靴端点至第n节中部槽起点处距离;θ为支撑滑靴端点至关键点连线与地面夹角;L1为支撑滑靴端点至关键点之间的距离，夹角与距离由滑靴型号确定，为已知量。采煤机在运行过程中可由红外传感器确定支撑滑靴X坐标，从而通过式(14)确定滑靴关键点在全局坐标系下其Y轴及Z轴坐标。由于采煤机机身与支撑滑靴为固连关系，故可通过采煤机出厂时尺寸确定在采煤机局部坐标系下支撑滑靴关键点的坐标。
图9 支撑滑靴与刮板输送机中部槽位置关系
Fig.9 Position between of the slipper and the middle slot of conveyor
设采煤机机身及2个支撑滑靴关键点在采煤机局部坐标系下的坐标分别为(XA1，YA1，ZA1),(XA2，YA2，ZA2),(XA3，YA3，ZA3),在全局坐标系下的坐标分别为(XB1，YB1，ZB1),(XB2，YB2，ZB2),(XB3，YB3，ZB3)。为计算方便，可在三维空间中将局部坐标系到全局坐标系的变换关系分解为移动和旋转两个矩阵，则对于采煤机机身任一点，存在以下转换关系:
(15)
其中，移动矩阵可由采煤机局部坐标系在全局坐标系下的坐标确定，因此求解该变换关系，只需要求解旋转矩阵R即可。为求解旋转矩阵R，可构造反对称矩阵A:
(16)
可设旋转矩阵R为
(17)
式中，I为3×3的单位矩阵。
将其中一个滑靴关键点代入式(15)并使其与采煤机局部坐标系原点相减可得
(18)
其中，XA1,YA1,ZA1分别为在采煤机局部坐标系下该支撑滑靴关键点的坐标;XB1,YB1,ZB1分别为在全局坐标系下该支撑滑靴关键点坐标。类似地，将另一支撑滑靴关键点坐标代入式(15)，可得
(19)
将式(18)，(19)分别代入式(16)，(17)展开计算，可得
(20)
将a1，a2，a3代入式(16)，(17)即可计算得到旋转矩阵。通过该方法得到的旋转矩阵可与通过惯导系统直接测量采煤机机身的偏转角度得到的旋转矩阵进行对比，若二者不一致，可对两种方法设定置信度，提高监测精度。此外，采煤机惯导设备发生故障时，也可通过这种方法对采煤机的位姿进行监测。
3.2.3 刮板输送机三维空间弯曲姿态建模
在全局坐标系中，刮板输送机中部槽的分布状态如图10所示。
图10 刮板输送机三维空间弯曲形态
Fig.10 Space bending trend of the scraper conveyor
每节中部槽的长度Lc由刮板输送机的型号确定，每节中部槽与各坐标轴夹角αn,βn,γn可由对应中部槽上的液压支架底座倾角传感器测量得到，则可得到刮板输送机空间分段函数为
(21)
其中，xn,yn,zn分别为第n节中部槽在末端在X，Y，Z轴上投影的坐标，其值可通过式(22)计算得到
(22)
刮板输送机在综采工作面可视为柔性体，通过式(21)，(22)可确定在全局坐标系下每节刮板输送机中部槽的空间坐标分布，将坐标数据输入虚拟仿真系统中便可实现刮板输送机的空间位姿重现。
4 基于Unity3D的综采装备虚拟仿真系统
在基于Unity3D的三维引擎实现综采装备三维建模、运动仿真、与煤层信息交互等方面目前已经开展了深入的研究，并取得显著进展[21,23,25-32]。依前所述，本文主要解决与实际数据接口、分析推理及反向控制链路生成问题。在已有技术基础上建立井下工作场景、装备、工艺流程的虚拟建模，实现井下综采装备开采过程的动态仿真。通过数据接口与基于全位姿测量系统融合，全面获取实际工况下装备位姿信息，基于坐标变换和驱动模型实现对综采装备的分析计算和模拟优化，通过反向控制链路实现对装备虚拟模型和实际装备体的闭环控制。
综采装备虚拟仿真系统采用模块化思想开发设计，系统组成框图如图11所示，整个系统分为视景仿真与运动仿真、场景生成、数据接口和分析计算及模拟优化控制4个主要模块。
视景仿真与运动仿真模块通过数据接口采集模型数据，对工作面综采装备状态进行重构，包含液压支架、刮板输送机、采煤机单机运动模型，完成设备的运动过程模拟，并将设备模型传入仿真场景中，进行设备间的协同仿真。场景生成模块通过数据接口采集环境数据，对井下三维环境进行重构，包含工作面顶底板、煤壁等关键参数，经工作环境模拟及观测视点设置，将重构的场景数据传入仿真场景中。上述2个模块的数据在仿真场景中融合，在分析计算及模拟优化控制模块的支持下生成某一时刻综采工作面实际状态数据，基于消除误差、提升装备运行效率和适应性目标，优化计算得出下一开采循环控制参数。最后通过反向链路传回仿真模块完成图形界面显示，并对工作面装备实现反向控制。
图11 综采装备虚拟仿真系统架构
Fig.11 Architecture of virtual simulation system for longwall mining equipment
4.1 视景仿真与运动仿真
4.1.1 综采装备和场景模型建立
利用Creo,Solidworks,UG等三维软件完成综采装备三维建模并导入Unity3D。在Unity3D中对不同模型、不同部件进行父子关系约束，建立坐标系及碰撞运动规则，完成工作面综采装备虚拟仿真模型的建立。通过Unity3D软件场景生成模块，利用Line Renderer线渲染器及Mesh网格组件完成工作面围岩环境的构建[21]。本文搭建的工作面综采装备虚拟仿真系统如图12所示。
图12 工作面综采装备虚拟仿真系统
Fig.12 Virtual system of longwall mining equipment in mining face
4.1.2 单机装备及装备群协同运动仿真
在完成单机装备建模、通讯接口、运动约束的基础上，依据装备位姿一体化描述及驱动关系模型，利用C#语言编写综采装备群协同运动关系脚本，满足装备实际运行时的逻辑关系，并实现装备反向控制。
(1)液压支架运动仿真
液压支架的运动仿真状态主要包括:收护帮板、降柱、移架、升柱、伸护帮板、推溜。升、降柱过程中液压支架整体做协同运动[30-31]。液压支架模型运动通过HydropressActivity脚本控制，首先建立各个动作的子函数HydropressUP()，HydropressDown()，HydropressUnfold()等，运用条件判断语句将各个动作函数连接起来。在控制仿真过程中，通过输入指令控制函数执行[33]。经过运行测试，液压支架的仿真模拟状态均可实现。图13为伸护帮板和推溜状态。
图13 液压支架虚拟仿真控制
Fig.13 Virtual simulation and control of hydraulic support
(2)采煤机运动仿真
采煤机单机运动过程主要包括:滚筒切割煤层、采煤机直线运动、摇臂旋转、采煤机在巷道端点的转向、采煤机切割深度推进。按照采煤机的机身、摇臂和滚筒的不同运动方式将其划分为3个节点层次，其中机身为父节点，摇臂为一级子节点，滚筒作为二级子节点。根据采煤机控制的逻辑创建节点树，操作父节点时带动其各个子节点，各子节点操作都相对于父节点。采煤机的运动仿真通过CoalMachineMove脚本控制，对于采煤机各部件的移动和旋转，通过调用Transform引擎组件的平移Translate()与旋转Rotate()成员函数实现。采煤机左行割煤和右行割煤控制如图14所示。
图14 采煤机仿真模拟
Fig.14 Simulation of shearer cutting
(3)刮板输送机运动仿真
采用分段建立的方式将刮板输送机模型加载到仿真系统中。刮板输送机沿走向推移过程的运动仿真通过ConveyorActivity脚本控制，输送煤块的运动过程仿真通过脚本ChainActivity控制。在液压支架推溜过程中，刮板输送机以液压支架为支点进行前移，在不同液压支架推移油缸时间差作用下刮板输送机成近似弯曲状态,如图15所示。
(4)综采装备群协同运动仿真
在单机装备运动仿真的基础上进行综采装备群协同运动仿真，场景中每个模型和每个模型零部件都是独立的，它们之间的运动需要建立父子关系和运动驱动方程来实现。装备群协同仿真流程如图16所示。
图15 刮板输送机仿真模拟
Fig.15 Simulation of scraper conveyor
图16 综采装备群协同运动仿真流程
Fig.16 Flow chart of collaborative movement simulation for mining equipment
4.2 实时数据通讯接口
虚拟仿真系统与全位姿监测系统、矿压监测分析系统等设置实时通讯的底层数据接口，以实现综采装备实际运行状态再现。该数据接口可基于ODBC协议实现与系统关联数据库的动态交互，提供按数据结构打包、解析以及结构与变量映射转换功能，满足异构数据的交互需求;同时数据接口兼容Profibus,CAN,Modbus,RS232/485等现场总线通讯协议，数据接口外部参数与虚拟仿真模型驱动因子一一对应。接口设置了数据存储处理单元，对接收到的外部数据信息进行处理，过滤偏差较大且不满足实际工况的数据，存储可靠数据，便于进行装备运行状态推演计算、驱动虚拟模型运动，此外可生成历史数据变动趋势、设备关键参数时移曲线等数据分析图表，实现基于外部系统真实数据驱动的装备与环境状态实时动态监测。
4.3 分析计算及模拟优化
分析计算及模拟优化是系统后台运行服务的核心，也是进行智能决策的关键。综采装备运行参数的决策需要在装备位姿与受力状态融合分析计算的基础上做出，因此重点是建立装备在不同情况下的融合计算模型。装备分析计算及模拟优化模块在实际工况感知数据的基础上，建立一般条件下的装备空间位姿和受力状态耦合数学模型，通过融合解算可得出任一时刻装备的稳定性和力学状态。
例如，通过受力分析和应用力(矩)平衡原理，可建立液压支架单元顶梁载荷、支架-煤岩摩擦因数、支架结构参数及工作面倾角之间的统一数学模型，如图17所示，可采用式(23)表示
Qesin θcos φ+Gasin θcos φ+f2Qsin θcos θcos φ+
Qcos φcos θLQO2+Gcos φcos θLGO2+f2Qcos φcos θh=
Qsin φcos θh+Gsin φcos θhg+
sin φcos θRLRO2+Rcsin θ
∑Fy=0,(Q+G)cos φcos θ=R
∑Fx=0,(Q+G)(sin φ+sin θ)=
f1(sin φ+sin θ)+f2Qcos αcos θ
∑Fz=0,(Q+G)(sin φ+sin θ)=
f1cos θR+f2Qcos φcos θ
(23)
其中，Q为液压支架所受顶板压力;G为液压支架重力;f2为液压支架顶梁与顶板之间摩擦因数;f1为液压支架底座与底板之间摩擦因数;R为底板对液压支架支撑力;e为液压支架顶梁载荷作用点与底座原点水平距离;a为液压支架质心与底座原点水平距离;LQO2为液压支架顶梁载荷作用点与底座原点水平距离;LGO2为液压支架质心与底座原点水平距离;LRO2为底板支撑力作用点与底座原点水平距离;h为液压支架顶梁距底座高度;hg为液压支架重心高度;φ为液压支架顶梁仰角;θ为液压支架底座与水平夹角;∑Fy，∑Fx，∑Fz分别为y轴、x轴、z轴的合力。
图17 综采装备分析计算及模拟优化
Fig.17 Analysis calculation and simulation optimization of longwall mining equipment
利用上述数学模型可计算支架是否处于压力可控区或姿态失稳区，并结合具体调整目标确定出模型中的力学参数取值，给出决定该取值一组最佳的控制参数，包括液压支架支护阻力、最佳移架时间、顶板下沉量等。类似的，可计算得出充分满足现场复杂地质条件下装备自动运行需求的控制参数集。这些参数在实际运行之前传回视景仿真与运动仿真模块中模拟效果。若运行结果与优化预期不符则重新进入参数优化计算过程，直至达到预期的控制效果，从而避免冲突、有潜在风险的开采工艺。
4.4 反向闭环控制
分析计算及模拟优化得到的综采装备运行参数通过网络传输至采煤工作面的回采巷道集控中心主机，并通过井下环网传输至综采装备控制器(基于PLC，ARM或DSP架构)。综采装备控制器对接收到的控制信号进行判别，若控制参数不符合当前综采装备控制器的工作条件，则向虚拟仿真系统发出反馈信号，请求重新计算控制参数。控制参数经装备自身控制系统确认后通过现场总线通讯协传输至综采装备执行机构，执行虚拟仿真系统所产生的控制命令。
虚拟仿真系统基于可靠的数据链路和控制逻辑与外界控制系统进行数据交互，执行自动化控制。同时，仿真系统通过数据接口实时获取当前工作循环中综采装备与环境状态监测变量的动态数据，利用数据分析处理单元完成数据的提取、筛选和结构化。
上述基于Unity3D的综采装备虚拟仿真系统模块支撑了与外部数据通信、仿真场景与综采装备运行状态的实时映射，实现了基于真实数据驱动的反向控制，形成数据交互、虚实镜像、闭环反馈的复杂条件智能化开采技术路径。
5 虚拟仿真控制系统开发及试验验证
中煤新集口孜东矿140502工作面是“十三五”国家重点研发计划课题“千米深井超长工作面围岩自适应智能控制开采技术”的示范工作面。目前，该工作面已经开始掘进，综采成套装备已基本制造完成，预计于2020年9月开始开采。该煤层赋存条件较为复杂，埋深1 000 m，平均厚度6.56 m，平均倾角14°，局部20°，俯采最大角度17°。从该矿已经开采的121304工作面(工作面长350 m)设备运行情况来看，受破碎顶板、矿山压力、围岩变形等条件的影响，装备空间位姿与正常状态偏离，液压支架扭转、刮板输送机弯曲和底板起伏严重(图18)，需要人工不停的控制调整，给工作面正常生产和安全性造成很大影响。
图18 口孜东矿121304工作面设备运行情况
Fig.18 Mining equipment working in Kouzidong Coal Mine
140502工作面是5号煤的首采工作面，从目前已经揭露的煤层条件判断，与121304工作面条件类似。因此，为更好的控制新工作面装备运行状态、避免装备再次出现较大的位姿偏离，研发了复杂条件下智能开采装备全位姿测量及虚拟仿真控制系统。140502工作面主要综采装备参数见表1。
表1 140502工作面综采装备参数
Table 1 140502 longwall mining face equipment parameter
序号设备名称参考型号1中部支架ZZ18000/33/72D过渡支架ZZG18000/29/60D2采煤机SL10003刮板输送机SGZ1250/3×10004转载机SZZ1350/7005破碎机PCM400
复杂条件下智能开采装备全位姿测量及虚拟仿真控制系统基于上述设备参数和140502工作面地质条件参数构建;包括全位姿测量系统、围岩矿压分析模块、视觉测量模块和控制决策模块，如图19所示。
该系统在实验室建立了全位姿测量系统样机，研制了四目视觉测量装置并进行了井下试验，如图20所示，同时识别监测护帮板角度、采煤机滚筒位置等信息。识别检测的支架数大于5架，图像解算时间小于0.5 s，支架顶梁测量角度误差在0.4°～1.2°。系统仿真运行过程在实验室进行，矿压分析模块同步加载现场采集的实测矿压数据，全面模拟设备响应情况。决策控制系统可根据运行状态、工艺需求、分析和预测结果做出响应。虚拟仿真系统同时也是实时数据驱动的三维操控平台，可将控制命令传输至设备控制器，反向驱动实际物理装备适应工作面工况条件。
图19 复杂条件下智能开采装备全位姿测量及虚拟仿真控制系统
Fig.19 All position and orientation measurement and virtual simulation system for smart mining equipment under complex conditions
图20 视觉测量系统井下试验
Fig.20 Visual measure system test in mine
目前，该系统完成了整体构建，在实验室完成了系统数据获取、远程通信、协议互通和双向驱动等试验。三维虚拟模型可根据采集的数据实时驱动采煤机滚筒旋转、摇臂达到指定位置并沿刮板输送机运移割煤，液压支架根据采煤机位置依序执行收护帮板、擦顶移架、伸护帮板、推溜等动作，刮板输送机随支架推溜动作呈现正确弯曲状态;顶板、煤壁随液压支架和采煤机的持续推进实现连续垮落。融合视觉的全位姿测量模块完成了井下测试。待综采装备具备安装条件后，随即开展井下试验，对整个系统的功能、可靠性和稳定性进行全面验证。
6 结 论
(1)提出融合视觉的工作面综采装备全位姿多参数测量技术。针对现有测量系统单一、位姿参数不全面的问题，通过位移传感器、倾角传感器、惯导、视觉等技术在1个测量系统下同时获取能够描述装备群空间位姿的15个参数，建立融合视觉的综采装备群全位姿测量方案，合理布置各类传感器的位置和数量，同时获取综采装备群空间位姿的多个参数。
(2)给出综采装备群统一坐标描述及驱动模型。为能够简单、便捷、唯一的描述和计算装备在三维空间的任何姿态，建立特定的全局和局部坐标系，全面描述综采装备群整体空间位姿状态;建立了采煤机和刮板输送机的位姿驱动关系模型和刮板输送机三维空间弯曲姿态模型，为在虚拟仿真系统中实现综采装备空间位姿重现提供技术支撑。
(3)开发基于Unity3D的综采虚拟仿真控制系统。建立井下特定工作场景、装备、工艺流程的虚拟模型，设置可与全位姿测量系统通信的底层数据接口，驱动单机装备及装备群协同运动仿真，满足装备实际运行逻辑关系，决策控制模块实现综采装备反向控制。
经过实验室和井下测试，全位姿测量及虚拟仿真控制系统可以实现工作面装备协同运动仿真，基于真实数据驱动的工作面设备状态展示，具有对工作面装备运行状态实时监测和反向控制能力。本文的研究为提升综采智能化系统的外部环境自适应能力、解决复杂地质条件工作面自动连续开采难题提供了有效的支撑技术手段。
[1] 康红普，王国法，姜鹏飞，等.煤矿千米深井围岩控制及智能开采技术构想[J].煤炭学报,2018,43(7):1789-1800.
KANG Hongpu,WANG Guofa,JIANG Pengfei,et al.Conception for strata control and intelligent mining technology in deep coal mines with depth more than 1 000 m[J].Journal of China Coal Society,2018,43(7):1789-1800.
[2] 王国法，庞义辉，任怀伟.千米深井三软煤层智能开采关键技术与展望[J].煤炭工程,2019,51(1):1-6.
WANG Guofa,PANG Yihui,REN Huaiwei.Intelligent mining technology development path and prospect for three-soft seam of deep coal mine[J].Coal Engineering,2019,51(1):1-6.
[3] 王国法，王虹，任怀伟，等.智慧煤矿2025情景目标和发展路径[J].煤炭学报，2018,43(2):295-305.
WANG Guofa,WANG Hong,REN Huaiwei,et al.2025 scenarios and development path of intelligent coal mine[J].Journal of China Coal Society,2018,43(2):295-305.
[4] 王国法，赵国瑞，任怀伟.智慧煤矿与智能化开采关键核心技术分析[J].煤炭学报，2019，44(1):34-41.
WANG Guofa,ZHAO Guorui,REN Huaiwei.Analysis on key technologies of intelligent coal mine and intelligent mining[J].Journal of China Coal Society,2019,44(1):34-41.
[5] 王国法，杜毅博.智慧煤矿与智能化开采技术的发展方向[J].煤炭科学技术，2019，47(1):1-10.
WANG Guofa,DU Yibo.Development direction of intelligent coal mine and intelligent mining technology[J].Coal Science and Technology,2019,47(1):1-10.
[6] WANG Jinhua.Development and prospect on fully mechanized mining in Chinese coal mines[J].International Journal of Coal Science & Technology,2014,1(3):253-260.
[7] WANG Jinhua,YU Bin,KANG Hongpu,et al.Key technologies and equipment for a fully mechanized top-coal caving operation with a large mining height at ultra-thick coal seams[J].International Journal of Coal Science & Technology,2015,2(2):97-161.
[8] HARGRAVE Chad O,JAMES Craig A,RALSTON Jonathon C.Infrastructure-based localization of automated coal mining equipment[J].International Journal of Coal Science & Technology,2017,4(3):252-261.
[9] 任怀伟，王国法，赵国瑞，等.智慧煤矿信息逻辑模型及开采系统决策控制方法[J].煤炭学报，2019，44(9):2923-2935.
REN Huaiwei,WANG Guofa,ZHAO Guorui,et al.Smart coal mine logic model and decision control method of mining system[J].Journal of China Coal Society,2019,44(9):2923-2935.
[10] 王世佳，王世博，张博渊，等.采煤机惯性导航定位动态零速修正技术[J].煤炭学报，2018，43(2):578-583.
WANG Shijia，WANG Shibo，ZHANG Boyuan，et al.Dynamic zero-velocity update technology to shearer inertial navigation positioning[J].Journal of China Coal Society，2018，43(2):578-583.
[11] 杨海，李威，罗成名，等.基于捷联惯导的采煤机定位定姿技术实验研究[J].煤炭学报，2014，39(12):2550-2556.
YANG Hai，LI Wei，LUO Chengming，et al.Experimental study on position and attitude technique for shearer using SINS measurement[J].Journal of China Coal Society，2014，39(12):2550-2556.
[12] 李森.基于惯性导航的工作面直线度测控与定位技术[J].煤炭科学技术，2019，47(8):169-174.
LI Sen.Measurement & control and localisation for fully-mechanized working face alignment based on inertial navigation[J].Coal Science and Technology，2019，47(8):169-174.
[13] 周开平.薄煤层综采工作面采煤机组合定位方法研究[J].工矿自动化，2019，45(6):52-57.
ZHOU Kaiping.Research on combined positioning method of shearer on fully mechanized mining face of thin coal seam[J].Industry and Mine Automation，2019，45(6):52-57.
[14] 周凯，任怀伟，华宏星，等.基于油缸压力的液压支架姿态及受载反演[J].煤矿开采，2017，22(5):36-40.
ZHOU Kai，REN Huaiwei，HUA Hongxing，et al.Loading inversion and hydraulic support pose based on cylinder pressure[J].Coal Mining Technology，2017，22(5):36-40.
[15] 陈冬方，李首滨.基于液压支架倾角的采煤高度测量方法[J].煤炭学报，2016，41(3):788-793.
CHEN Dongfang，LI Shoubin.Measurement of coal mining height based on hydraulic support structural angle[J].Journal of China Coal Society，2016，41(3):788-793.
[16] 马旭东.综采工作面液压支架姿态监测系统的开发[D].太原:太原理工大学，2019.
MA Xudong.Development of attitude monitoring system for hydraulic support in fully mechanized mining face[D].Taiyuan:Taiyuan University of Technology，2019.
[17] 王渊，李红卫，郭卫，等.基于图像识别的液压支架护帮板收回状态监测方法[J].工矿自动化，2019，45(2):47-53.
WANG Yuan，LI Hongwei，GUO Wei，et al.Monitoring method of recovery state of hydraulic support guard plate based on image recognition[J].Industry and Mine Automation，2019，45(2):47-53.
[18] 张旭辉，王冬曼，杨文娟.基于视觉测量的液压支架位姿检测方法[J].工矿自动化，2019，45(3):56-60.
ZHANG Xuhui，WANG Dongman，YANG Wenjuan.Position detection method of hydraulic support based on vision measurement[J].Industry and Mine Automation，2019，45(3):56-60.
[19] 刘鹏坤,王聪,刘帅.综采工作面多视觉全局坐标系研究[J].煤炭学报,2019,44(10):3272-3280.
LIU Pengkun,WANG Cong,LIU Shuai.Multi-vision global coordinate system in fully mechanized coal mining face[J].Journal of China Coal Society,2019,44(10):3272-3280.
[20] 陈凯,王翔,刘明鑫,等.坐标转换理论及其在半实物仿真姿态矩阵转换中的应用[J].指挥控制与仿真,2017,39(2):118-122.
CHEN Kai,WANG Xiang,LIU Mingxin,et al.Coordinate transformation with application in HWIL simulation[J].Command Control & Simulation,2017,39(2):118-122.
[21] 谢嘉成,王学文,杨兆建,等.综采工作面煤层装备联合虚拟仿真技术构想与实践[J].煤炭科学技术,2019,47(5):162-168.
XIE Jiacheng,WANG Xuewen,YANG Zhaojian,et al.Technical conception and practice of joint virtual simulation for coal seam and equipment in fully-mechanized coal mining face[J].Coal Science and Technology,2019,47(5):162-168.
[22] 赵浩然,刘检华,熊辉,等.面向数字孪生车间的三维可视化实时监控方法[J].计算机集成制造系统,2019,25(6):1432-1443.
ZHAO Haoran,LIU Jianhua,XIONG Hui,et al.3D visualization real-time monitoring method for digital twin workshop[J].Computer Integrated Manufacturing Systems,2019,25(6):1432-1443.
[23] 丁华，杨兆建.面向知识工程的采煤机截割部现代设计方法与系统[J].煤炭学报,2012,37(10):1765-1770.
DING Hua,YANG Zhaojian.Method and system of shearer cutting unit modern design oriented to KBE[J].Journal of China Coal Society,2012,37(10):1765-1770.
[24] 陶飞，程颖，程江峰，等.数字孪生车间信息物理融合理论与技术[J].计算机集成制造系统,2017,23(8):1603-1611.
TAO Fei,CHENG Ying,CHENG Jiangfeng,et al.Theories and technologies for cyber-physical fusion in digital twin shop-floor[J].Computer Integrated Manufacturing Systems,2017,23(8):1603-1611.
[25] 谢嘉成,王学文,杨兆建.基于数字孪生的综采工作面生产系统设计与运行模式[J].计算机集成制造系统,2019,25(6):1381-1391.
XIE Jiacheng,WANG Xuewen,YANG Zhaojian.Design and operation mode of production system of fully mechanized coal mining face based on digital twin theory[J].Computer Integrated Manufacturing Systems,2019,25(6):1381-1391.
[26] 谢嘉成,王学文,郝尚清,等.工业互联网驱动的透明综采工作面运行系统及关键技术[J].计算机集成制造系统,2019,25(12):3160-3169.
XIE Jiacheng,WANG Xuewen,HAO Shangqing,et al.Operating system and key technologies of transparent fully mechanized mining face driven by industrial Internet[J].Computer Integrated Manufacturing Systems,2019,25(12):3160-3169.
[27] 李祥，王学文，谢嘉成，等.复杂工况下采运装备虚拟运行关键技术研究[J].图学学报，2019，40(2):403-409.
LI Xiang，WANG Xuewen，XIE Jiacheng，et al.Research on key technologies of virtual operation of mining equipment under complex conditions[J].Journal of Graphics，2019，40(2):403-409.
[28] LIU Shanjun,WANG Han,HUANG Jianwei,et al.High-resolution remote sensing image-based extensive deformation-induced landslide displacement field monitoring method[J].International Journal of Coal Science & Technology,2015,2(3):170-177.
[29] 方新秋,宁耀圣,李爽,等.基于光纤光栅的刮板输送机直线度感知关键技术研究[J].煤炭科学技术,2019,47(1):152-158.
FANG Xinqiu,NING Yaosheng,LI Shuang,et al.Research on key technique of straightness perception of scraper conveyor based on fiber grating[J].Coal Science and Technology,2019,47(1):152-158.
[30] 乔春光.采煤机与刮板输送机协同位姿监测理论与方法研究[D].太原:太原理工大学，2019.
QIAO Chunguang.Research on theory and method of coordinate position monitoring for shearer and scraper conveyor[D].Taiyuan:Taiyuan University of Technology，2019.
[31] 韩菲娟,任芳,谢嘉成,等.综采工作面三机虚拟仿真系统设计及关键技术研究[J].机械设计与制造,2019，342(8):184-187.
HAN Feijuan,REN Fang，XIE Jiacheng，et al.Design and key technologies of virtual simulation system for three machines in fully mechanized coal mining face[J].Machinery Design & Manufacture,2019，342(8):184-187.
[32] 谢嘉成，杨兆建，王学文，等.综采工作面三机虚拟协同关键技术研究[J].工程设计学报，2018，25(1):85-93.
XIE Jiacheng，YANG Zhaojian，WANG Xuewen，et al.Research on key technologies of virtual collaboration of three machines in fully mechanized coal mining face[J].Chinese Journal of Engineering Design，2018,25(1):85-93.
[33] 韩菲娟.基于Unity3D 的综采工作面“三机”虚拟仿真系统[D].太原:太原理工大学，2018.
HAN Feijuan.The virtual simulation system of three machines in fully mechanized coal mining face based on unity3D[D].Taiyuan:Taiyuan University of Technology，2018.
