智能化开采是推动煤炭产业高质量发展的主要内容[1]。互联网+[2]、大数据、虚拟现实等先进信息技术的创新发展以及5G等先进通讯技术的逐步工业应用，开启了煤炭行业智能化新时代[3]，目前正处于透明工作面的研发过程中[4]。
传统的煤矿井下主要以视频监控和二维组态软件监控为主，其不足主要表现为直观性与可分析能力差、传输数据量和占用带宽大、环境恶劣导致效果不佳。虚拟现实(VR,Virtual Reality)技术在各工业领域已经全面应用，为工业过程的仿真模拟和可视化监测提供了强大支撑工具[5]。国内外煤机装备都推出了基于VR的虚拟场景解决方案来提高综采监测手段，实现工作面的透明化[6-7]。利用VR技术接入实时运行数据进而构建综采工作面生产系统的实时虚拟镜像，实现综采装备的动态配套关系、作业过程、运行态势和真实煤层的虚拟模型构建与实时修正等准确呈现[8-9]。
关于综采虚拟监测方面的研究动态，李昊等[10]对综采工作面虚拟现实监测系统的总体框架进行设计，指出该系统须具有采集、传输、显示、预警和反向控制的功能。张登攀等[11]研究了虚拟监测中模型的驱动、数据采集和数据通信的关键问题。ZHANG[12]将多智能体(MAS,Multi-Agent System)技术、云技术等融入综采虚拟监测系统中。谢嘉成[13]提出了VR环境下综采工作面“三机”虚拟现实技术与系统，并在实验室条件下进行了验证。孙君令[14]提出了一种优先对姿态数据进行处理进而再驱动液压支架运动状态的监测系统架构。
要确定装备运行状态，必须首先建立三维煤层模型[15]，煤层应分为以地质探测信息为数据基础的静态煤层和在回采过程中获得的相关实时动态截割、支护、煤层揭露数据为基础驱动的动态实时修正煤层[16]，最终以一种透明化的方式把装备与煤层之间的相互作用以及形态全部呈现出来[17]。
由以上分析可知，当前的综采生产系统虚拟监测大多仍停留在理论探索或者实验室试验的阶段，要想构建高精度实时运行虚拟场景，主要存在以下瓶颈问题还未解决:
(1)虚拟仿真可信度低。构建的虚拟场景与真实综采工作面相比，“形似”和“神似”均较差。且大部分均为水平理想底板条件下的仿真，煤层与装备分离，两者结合起来运行依然没有较好的解决方案。
(2)原始稳定可靠的感知信息的获得与利用存在问题。“虚”和“实”交互通道已基本建立，5G等技术的逐步应用更为信息交互提供技术支撑。但在井下特殊条件下，需解决信息处理各个环节的延迟性、实时性与准确性问题，以提供给虚拟系统准确可靠的底层基础数据。
(3)实时驱动虚拟模型运行的虚实映射方法还不清楚。在实际条件下，传感信息的数量不足以全面呈现所有装备的位姿运行状态。通过直接驱动虚拟模型运行的方法并不可行。利用虚拟仿真的一些信息正好可以弥补感知信息少的问题，所以还需研究感知数据与仿真信息的虚实融合策略和虚实装备运行状态的一致性呈现方法。
因此，针对以上问题，笔者首先将综采虚拟监测与“工业4.0”中最重要的数字化工厂虚拟监测进行对比，试图找出一些共性和关键技术解决方案，同时也通过这两者在设备布置、运动关系等多个方面的特点对比，提出井下智能化综采工作面虚拟监测所面临的挑战。接着逐一对各个挑战可能的关键技术与解决方案进行探讨。
1 智能化综采工作面实时虚拟监测总体架构
数字孪生技术(Digital Twin)等概念逐渐被融入数字化工厂的建设中。近年来，也逐步与综采生产系统进行融合，依托传感器、大数据和物联网等技术，期望实现综采机组在复杂多变的煤层环境下的自主运行采煤[18]，且运行过程完全透明可见。但综采工作面运行具有以下特点:① 装备群在煤层赋存条件、顶底板起伏不平环境下实时动态运行采煤;② 封闭空间内，装备连接运动关系复杂，除采煤机外，其他装备全部准确定位定姿难度和成本较大;③ 精准实时呈现工作面生产系统运行状态，达到“所看即实际”的效果，难度大。
可以看出，面对以上挑战，需从高可信度煤层装备联合虚拟仿真与协同规划、实时可靠信息获取与“虚实融合”通道构建技术和虚实融合与感知一致性呈现方法等方面进行研究:
(1)高可信度煤层装备联合虚拟仿真与协同规划方面:要实现虚拟监测，首先需要完成煤层和装备等必要元素的配置，进而建立高仿真度的与工作面实际运行状态一致的虚拟场景，最终可实现装备群协同运行的虚拟规划。
(2)实时可靠信息获取与“虚实融合”通道构建技术方面:利用VR软件平台的接口进行数据的通讯，需研究在装备机身振动大等恶劣工况条件下对通道数据的延迟性、实时性、准确性等问题以及在井下防爆电脑配置受限情况下如何进行稳定监测的解决方案。
(3)虚实融合与感知一致性呈现方法方面:在工作面使用的各个传感器易失效进而造成干扰，比如:采煤机定位精度存在问题或者信息传输不稳定，如果利用传感器信息直接驱动虚拟采煤机，在传感器失效或者发生异常时势必会造成虚拟监测画面的不严谨性，例如采煤机直接飞离出去。为了避免相关问题，首先在虚拟综采装备之间必须建立稳定可靠的连接关系，再通过实时传感信息进行解析重构。
2 高可信度煤层装备联合虚拟仿真与协同规划
2.1 装备及煤层建模
图1为装备与煤层的配置方案。在装备虚拟模型建立方面:需寻找到在模型精细度和精准表达之间的平衡点。这个平衡点既需要尺寸配套运行状态正常，又不会对计算机渲染画面造成过多压力。因此忽略内部传动结构，外形特征、配套连接尺寸和结构必须和实际一致。对模型进行修补，将螺栓等不规则的多面体结构修补为平面结构。
对装备各结构进行结构解析，确定装备的尺寸。在关键运动点修补销轴，用来在虚拟现实软件中标记运动关键点。导入虚拟现实软件中，建立装备的父子关系。在编写的运动脚本中，改变结构尺寸数值，使装备可以参数化驱动。完成单机模型建立后，在水平理想底板上完成三机配套关系的建立，之后完成装备数字模型的构建[17]。
图1 煤层装备配置方案
Fig.1 Configuration plan of coal seam and equipment
图2 装备群协同运行虚拟规划框架
Fig.2 Virtual planning framework for collaborative operation of equipment group agent theory
在虚拟煤层建立方面:煤层模型与装备模型之间相互作用、相互制约，基于Unity3D开发特点与模型所需特性，提出了一种虚拟煤层顶底板构建方法[17]:
(1)通过Kriging法对初始的地质探测数据进行插值处理，得到建立三维煤层模型所需的基础数据;
(2)对插值后的数据进行Delaunay三角剖分，利用C#脚本与Unity3D中mesh组件建立TIN网并进行渲染;
(3)根据煤层分块建模的思路以及实时地质探测技术和采煤机截割顶底板轨迹的综合运算，对虚拟煤层顶底板模型进行更新，完成动态煤层的实时更新与动态变化;
(4)利用平面函数切割顶板TIN模型，获得可直接指导装备运行的当前工作面顶底板曲线。
2.2 生产系统场景建立与管理
基于煤层装备虚拟接触模型[17]，将装备与煤层分别添加物理引擎碰撞组件，使装备能够按照配套关系、运行约束条件等布置到虚拟煤层中，建立静态工作面装备与煤层参数化模型(图2)。
整体虚拟场景按照层级高低进行管理。在单机层面，各装备需按照有限状态机理论建立运行过程，并定义相关变量接口[13]。在装备群协同运行层面，需完成刮板输送机与虚拟底板耦合分析方法、采煤机和刮板输送机虚拟定位定姿方法、液压支架与刮板输送机中部槽浮动连接虚拟运行方法和基于煤层顶底板曲线的液压支架群定位定姿方法等。
在综采生产系统层面，将装备群协同方面的各虚拟仿真方法进行集成，同时需将采煤机规划截割顶底板曲线与煤层模型实时动态更新建立关系，将刮板输送机和液压支架群与煤层底板紧密接触确定精准位姿关系，将液压支架群与煤层顶板进行耦合确定支护关键信息，最终完成虚拟煤层环境下的装备协同推进仿真。
2.3 装备群协同运行虚拟规划
未来的无人采矿装备群必须具备高级自我调控的能力，包括复杂动态周围环境感知、协同交互与控制，能够自组织协同完成采煤任务，当前正在攻坚过程中。而在VR环境下，可以首先构建采矿装备群的虚拟数字孪生体，进行相关测试，以实现虚拟装备的“机器人化”与“无人开采”,进而指导采矿机器人的设计过程。
具体方法是将各装备分别作为一个Agent进行运转，对装备协同运行相互影响因素进行分析[19]。图2为各Agent之间的约束与逻辑运行关系条件。建立了装备协同底层模型，包括采煤机牵引调高运行与煤岩环境耦合模型、采煤机牵引速度与刮板输送机运量耦合模型、液压支架跟机控制与采煤机速度耦合策略、刮板输送机形态与液压支架推移油缸耦合模型和液压支架跟机与顶底板条件耦合策略。研究装备群、煤层和动态井下环境等多个Agent之间的通讯方式、协调、冲突消解、冗余处理感知等问题。并以此为依据在Unity3D中建立了“三机”协同规划系统，可对“三机”关键参数进行在线规划并调控。
3 实时可靠信息获取与“虚实融合”通道技术
3.1 传感器布置与感知信息获取
虚拟监测需要相当多的传感信息来实时驱动虚拟装备同步运行，以此来提高构造的虚拟工作面的真实性。与此同时，传感器的安装配置问题也成为了综采虚拟监测工业化应用的一大阻碍。如果为了虚拟监测而额外地在运行良好的工作面各装备上布置更多的传感器，势必会使整个生产系统变得更加复杂，不仅带来成本的急剧增加，更重要的是监测点的增多导致工作面运行和维护成本过高，系统正常运行的可靠性也会降低。如果传感器出现故障造成整个工作面停机检修，则更是得不偿失。同时，也需要一线操作工人和巡检人员有更高的专业素质。
因此，虚拟监测系统必须在现有电液控系统和较为成熟的配置方案上增加最小数量的传感器，进而达到VR监测的目的。各装备具体的传感器构成、信息传输和集成方式如图3所示。
图3 综采装备传感器构成、信息传输和集成示意
Fig.3 Sensor composition,information transmission and integration of mining equipment
(1)采煤机的位置和姿态是关键监测点，需要进行多源信息融合。需将惯导系统+行走部轴编码器进行复合定位[20]，实现在起伏等工况条件下的精确定位。考虑到采煤机在工作过程中的振动特性，应选用抗振性好、可靠性高的倾角传感器对采煤机姿态进行测量。将各传感信号线接入采煤机机载控制系统中，基于无线接口，通过机载无线基站，传输回集控中心监控主机中。
(2)液压支架除了在电液控制系统布置立柱压力传感器和推移行程传感器外，还需监测液压支架的实时运行姿态，需在底座、四连杆机构和顶梁上布置相关的倾角传感器。由于支架运动特性较慢，大部分时间处于静止状态，工作面支架群的数量也较多，因此综合考虑选择经济性较好的倾角传感器即可。每台支架的传感信息进行集成后，集成到支架电液控制系统中，可实现支架间的互联互通并将信息传输回集控中心。
(3)刮板输送机的三维形态需在每节中部槽上安装倾角传感器。但是，此种传感器布置较为困难，易被破碎掉落下来的煤砸坏，可靠性较低。因此，基于采煤机与刮板输送机两者之间的连接运行关系，可通过采煤机机身搭载的相关传感信息获得的位姿数据进行反演来获得刮板输送机实时三维形态。
3.2 实时交互通道接口关键技术
实时采集综采装备的在线运行数据，经过一系列通道进入虚拟监测软件。其中，Unity3D作为软件平台，与组态软件、数据库、计算软件进行实时信息的交互[13]，进而驱动虚拟场景进行实时同步，可直观监测整个工作面运行状态。数据库存储数据，后台可作为大数据进行监测分析，包括采煤机高效虚拟记忆截割、液压支架群记忆姿态[21]和刮板输送机形态预测[22]等方法，将数据与运算结果在云端进行传输与存储。以捷联惯导装置信号接入虚拟软件为例来进行分析，其流程如图4所示。
图4 捷联惯导信号的实时传入过程
Fig.4 Real time input process of sins signal
利用MTi-300→单片机→组态王→Unity3D实时通信，实现将惯导装置的横滚角roll、俯仰角pitch、偏航角yaw值实时上传到上位机，上位机软件组态王与Unity3D实验仿真平台通过SQLSEVER数据库实现实时的数据交互，最终实现在Unity3D平台上的真实虚拟设备与物理设备的实时交互与控制。
数据传输方式包括RS-232硬件协议和Xsens公司的Xbus软件协议。利用单片机串口技术，对惯导发送的Xbus数据包信息进行接收，提取需要的欧拉角数据信息;然后利用另一个串口，实现与上位机组态王实时通信，将数据上传给组态王。组态王对数据进行处理，将数据预存到SQLSEVER数据库。最后，利用Unity3D编写C#脚本，将预存在数据库的数据读取出来，实时的映射到虚拟数字模型。
3.3 传感信息数据的二次融合和修正
工作面装备数量过多，总会有一部分传感器发生问题。因此，在对工作面整体监测的过程中，利用数据直接驱动虚拟装备运行时，数据跳动或错误数据等都会导致虚拟装备运行状态出现突变，降低VR监测的可靠性。因此，虚拟监测系统必须具备实时判断的能力，只有确定性判断的数据才可以显示到虚拟监测画面上去。
为了解决数据的不稳定性问题，必须对二次信息进行处理和融合。措施如下:
(1)选用传感器时，在成本允许的情况下，使用内部抗振性能好，可以对噪声进行滤波的传感器，以减小数据信号的波动;
(2)加装边缘计算装置，进行多源信息融合，将二次融合数据进行传递，既减小了中央计算机的压力，又保证了在数据波动的情况下的监测问题;由于中心处理压力过大，必须通过边缘计算进行，采用Zigbee无线传输方法，布置大量的边缘计算节点,对采集的数据进行融合处理;
(3)将数据库里存放的前几个时刻的值进行融合，防止跳动;
(4)在虚拟现实软件底层，编写相关程序和代码，避免传感器的波动。
3.4 分布式协同的驱动模式
当前，在井下集控中心配备的先进的防爆电脑配置有限，监测装备以及监测点众多，利用单台的虚拟监测主机对所有装备进行数据处理会导致卡顿、帧率下降等问题，严重影响监测效率。
为缓解单台主机的压力，需进行多台监测主机分布式的网络协同监测:分布式地处理获得的各装备实时运行的状态数据，各监测主机可实时分享和同步运行，减小网络压力，加快数据处理速度。
在Unity3D软件中建立分布式的虚拟现实监测体系，建立多个子系统，编写子系统之间的同步通信程序并对同步方式进行研究。Unity3D实时读取数据库中的数据，并用数据库中的数据驱动虚拟监测画面中的模型发生动作;使用多台监测主机，搭建分布式的虚拟现实监测平台。经过试验，单台主机与多台协同对比结果如图5所示，使用多台协同方式帧率大幅度下降，信息传输更加稳定可靠流畅，计算机占用内存也较小。
图5 分布式与集中式协同绘制帧率与占用内存对比
Fig.5 Frame rate and memory consumption of distributed and centralized collaborative rendering
4 虚实融合与感知一致性呈现方法
4.1 复杂综采虚拟场景实时驱动框架
采用基于传感信息与仿真信息融合驱动的虚拟监测方法，根据融合结果进而同步预测装备运行状态，并进行实时虚拟呈现，用来提高监测的可靠性和准确性，并具备自修正功能。需要进行不同层级的驱动方法研究。
(1)单一要素驱动。
采煤机、刮板输送机、液压支架单机与动态煤层是基础，实时信息驱动虚拟单机方法必须首先完成。需注意实际传感信息数量与虚拟装备自由度的关系，在这一层级，可通过3.3节获得的二次信息再次经过处理后直接驱动，详见4.2节。
(2)协同配套驱动方法。
根据装备之间的配套连接关系和配套运行仿真结果，并将其作为实时数据驱动的指导工程融合到虚拟场景中。煤层随着装备截割运行状态的变化时刻动态变化，煤层变化又逐渐影响装备运行姿态。
其中:采煤机作为引领装备，前后滚筒轨迹决定了后方液压支架群和刮板输送机的运行状态。煤层顶板底板的准确确定以及相关由煤层推算的方法决定了刮板输送机和液压支架的运行状态。底板又决定了装备位置姿态的整体信息，需要循序“先底板后顶板”的设计原则，分清层次进行分析。因而，需首先分析与底板紧密接触的刮板输送机和液压支架群的状态。
(3)虚拟数据接口选择。
由于一些传感器布置困难且不能在装备上安装过多，相比虚拟场景装备自由度，传感信息数据减少。因此根据虚拟接触模型，可大规模地确定装备虚拟运行数据。但是虚拟仿真确定的装备运行状态有时与实时传感信息存在矛盾，如何复合融合驱动解决这一矛盾也是一大关键问题。
4.2 基于底层模型驱动虚拟单机关键技术
传感信息数据不能直接驱动虚拟模型来实时地反映其所对应状态。原因是虚拟现实场景中装备是存在父子关系的，父物体运动会影响子物体，而子物体跟随父物体运动。以装备倾角为例进行说明:各部件所能驱动的角度信息应该是相对于上一级父物体之间发生的相对变化的数值。而传感器的数值是相对于时间坐标系的真实值，必须经过角度转化才能进行驱动虚拟物体运行。因此，要对采煤机滚筒高度进行监测，必须将摇臂上布置的倾角传感器的数值与机身的三维姿态角进行运算，才能求解出来摇臂真实的转角。液压支架也必须以底座的角度为基础，将四连杆机构、掩护梁等进行实时的转换，才能获得准确姿态。并与装备虚拟仿真数据进行融合处理，提升虚拟呈现的精度，如图6所示。
图6 驱动液压支架运行关键技术
Fig.6 Key technologies of driving virtual hydraulic support
4.3 采运装备协同仿真与实时数据驱动
刮板输送机铺设在煤层底板上，呈现出三维形态，采煤机以刮板输送机为轨道进行牵引和截割。首先应解决采运装备仿真的问题(图7)。主要有2种方法:① 利用解析法进行采运装备的位姿实时求解;② 利用物理碰撞法进行求解[17]。为了避免不严谨性，必须遵守的原则是虚拟采煤机和刮板输送机不能彼此分离，这2种方法对比见表1。
图7 采煤机和刮板输送机协同运行关系
Fig.7 Cooperative operation diagram of shearer and scraper conveyor
表1 2种方法的对比
Table 1 Comparison of these two methods
方法解析法物理碰撞法虚拟采煤机的可驱动性较难较容易刮板输送机三维形态与煤层接触呈现出的真实形态接近性难,较差容易,较为接近采煤机和刮板输送机形态拟合程度较好,依赖于数学模型的准确性与模型之间的对准任何形态,只要设置好参数,采煤机自行适应运行刮板输送机三维形态参数化控制较难控制、控制精度较好较容易控制,但控制精度较差采煤机解析方法较准确,会出现频繁对准问题可以精准确定计算机运算压力压力较大需用物理引擎
由表1可知，2种方法各有利弊。解决方案:先按照刮板输送机与底板接触的碰撞特性确定刮板输送机形态，然后提取各中部槽相关角度数据，此时去掉物理引擎，采煤机和刮板输送机之间仍然采用物理引擎驱动方法。
接入实时数据，驱动方法为采煤机位姿信息反演。存在采煤机定位精度问题或者不稳定造成实时反演的刮板输送机在复杂煤层环境下三维形态不准确。如果利用传感器信息直接驱动，传感器在失效或者异常的条件下，会造成采煤机与刮板输送机的分离进而飞离出去的问题。尽管进行了二次传感信息融合，势必会造成虚拟监测画面的不严谨性，为了避免相关问题，首先虚拟综采装备之间必须建立稳定可靠的连接关系，再通过实时传感信息进行解析重构。
具体为:由于刮板输送机之间的连接特点，采煤机的虚拟行走路径实际上是一条由各节中部槽销轴连接而成的三维折线，控制采煤机的两组滑靴沿着此折线移动即可实现采煤机贴合刮板输送机的虚拟行走。在Untiy3D内置的物理引擎中，关节组件能够模拟物体之间以关节形式连接的动作，类似各节刮板输送机间哑铃销的作用，将关节组件赋予多个成串的物体之间，即可实现具有连带效果的物理模型;碰撞体、刚体、重力等组件则可共同实现准确的碰撞模拟。基于以上丰富的物理功能，首先，可以完成刮板输送机在煤层底板上自适应排布，虚拟“求解”刮板板输送机的三维姿态;接着，选择各节刮板输送机连接销轴处即虚拟行走路径的关键航点。左右支撑滑靴沿着虚拟路径行走，则可共同实现采煤机机身的定位与定姿。
4.4 采煤机实时截割煤层
采煤机工作过程中，截割滚筒以煤岩界面为跟踪目标，往复运行共同完成割煤工作。在得到当前工作面的煤岩界面曲线后，就需要以该曲线为目标对采煤机滚筒的截割轨迹进行路径跟踪。实时解算出融合采煤机牵引速度、调高参数、机身倾角等信息的滚筒运动方向，当采煤机滚筒运行至关键截割点时，首先判断所需的调整动作(上调、下调与不调)，确定具体动作后，接着通过调整采煤机牵引速度来改变滚筒运动方向，使之朝向目标位置(下一关键截割点)运动，从而实现自动调高。
4.5 刮板输送机和支架协同仿真与实时数据驱动
液压支架与刮板输送机浮动连接机构运动关系复杂，是实现二者虚拟协同运行的主要障碍,而液压支架与刮板输送机的协同是综采工作面三机协同技术的关键技术之一。因为液压支架与刮板输送机的浮动连接机构各结构均可以运动，需建立各结构的运动规律，以实现液压支架在虚拟环境下的精准推移。建立贴近真实条件下的虚拟截割底板仿真模型。最终实现液压支架群与刮板输送机在虚拟截割底板上的协同推进。
基于工业机器人的逆向运动学解析，虚拟现实软件可作为复杂空间问题求解器，求解不同底板起伏条件下的刮板输送机和液压支架姿态，如图8所示，其中，d1为关节距离，指沿着Z0轴时X0轴与X1轴之间的距离，对应于液压油缸外伸出活塞杆的长度;l1为连杆长度，指沿着X4轴的Z3轴与Z4轴之间的距离，为推移杆的长度;l2为连接头的长度;θ2为关节角，指的是X1轴绕着X2轴所转动的角度，为推移杆的俯仰角;θ3为关节角，指的是X2轴绕着X3轴所转动的角度，为推移杆的偏摆角;θ4为关节角，指的是X3轴绕着X4轴所转动的角度，为连接头水平偏摆的角度。
图8 浮动连接机构定义与关节设置
Fig.8 Definition and joint setting of floating connection mechanism
4.6 虚拟液压支架群虚拟驱动
在Unity 3D中为液压支架模型添加刚体(Rigidbody)组件和碰撞器(Collider)组件。在物理引擎的作用下，液压支架模型便可在自身重力影响下与煤层底板模型发生碰撞并生成相应的位置姿态，基于该碰撞姿态液压支架可完成推溜、移架等一系列动作，完成液压支架对煤层底板的协同运行[23]。
图9(a)为液压支架添加一个虚拟顶梁，保证虚拟顶梁与液压支架模型中顶梁部件大小、位置相同。改变该虚拟顶梁物理特性中的重力方向使其向上，虚拟顶梁便可与煤层顶板模型产生碰撞。将虚拟顶梁产生的对煤层顶板的碰撞信息传递给液压支架模型中的顶梁部件，结合对液压支架模型逆运动学的分析，依据顶梁信息完成对液压支架各连杆机构转动角度和立柱伸长量的求解，液压支架模型就可以进行相应的支护姿态调整，从而完成液压支架基于煤层的运行。
图9 液压支架群协同运行
Fig.9 Cooperative operation of hydraulic support groups
如图9(b)所示，对虚拟环境中的每台液压支架进行编号，根据煤层变化，软件后台实时记录并导出每台支架运行的仿真位姿信息。液压支架群组在移架时需要保证一定的直线度，为此，根据实时传感信息与仿真信息进行融合获得每台支架的位姿信息，联立起来后，可得出当前液压支架群的直线度情况，及时发出提醒警告，进行远程人工干预。在液压支架群组基于煤层的协同运行中还要避免出现液压支架的空间异常姿态。检测过程中，为群组中的每台液压支架都添加碰撞检测，及时发现具有异常姿态的液压支架编号。
4.7 虚拟监测界面设计
综采虚拟场景监测点众多，应如何进行切换和验证以更好地展示整个工作面的运行状态也是一个关键问题，首先需确定哪些特征信息需要被重点关注。
因此，综采虚拟监测系统以建立一个简易、精准、高效的切换模块为目标，需要用到图片/文字显示状态的控制、场景切换加载、多窗口视图及切换、折叠选项卡、单选选项卡设置等工具，实现UGUI界面随鼠标动作、物体运动启停控制、场景切换加载、UGUI实时数据呈现、物体运动控制等方法。
4.8 动态透明工作面时空运动学实时分析方法
在综采生产系统实时进行工作过程中，需要对装备整体运行的时空运动学进行研究，以进一步更好地对装备截割、推进路径、煤层之间的关系进行规划分析，优化路径。
在虚拟监测过程中，在各虚拟装备的关键点上修补关键信息点，实时将各关键定位标记点的坐标以XML等格式的数据输出，构造时空运动模型，分析装备与煤层的时空运动学，比如液压支架支撑空间:通过在底座前后两端、四连杆、顶梁前后两端、护帮板，与刮板输送机靠近煤壁侧修补关键定位点可以获得。
在采煤机引导装备进行截割的过程中，记录下各装备实时的运行状态。由综采装备协同推进的时空运动学特性与装备的运行姿态、物理约束等的变化关系，获得综采装备在煤层条件下的调高、截割、推进、支护等动作的工作空间演变规律。
5 试验验证
实验室环境下建立了煤矿综采成套试验系统，并完成相关智能化改造。按照3.1节传感器的布置方案，在采煤机、刮板输送机、液压支架上均布置了相关传感器。通过有线和无线组成的高速通讯网络，将相关数据传输回模拟集控中心与模拟远程调度中心(图10)，整个试验系统开机后具备3机协调运行的能力。在集控中心和远程调度中心5台监测主机上均安装分布式VR监测系统，通过虚实交互通道在网络内进行实时协同运行，整体完成整个工作面生产系统的虚拟监测。
在部分较难采集的信息上采用Zigbee作为边缘计算节点进行传输，融入高速通讯网络进行数据融合，完成信息的二次加工，保证实时传感信息的准确性、可靠性，数据监测界面如图11，12所示。
图10 综采成套试验系统与VR监测
Fig.10 Fully mechanized coal mining test system and VR monitoring system
图11 综采虚拟监测系统界面设计
Fig.11 Interface design of virtual monitoring system for fully mechanized mining face
图12 综采VR监测实验室试验
Fig.12 VR monitoring method test in laboratory environment
试验表明,VR监测系统运行清晰流畅，虚实映射状态同步，可切换性好，呈现信息准确，后台数据库压力也较小，可以完成预期目标。分布式虚拟监测平台工作情况良好。通过二次数据的融合，提高了虚拟装备运行的稳定性，避免了不符合综采机组运行规律要求的动作。
而针对实验室条件下无法构造复杂底板条件进行试验，构建了“三机模拟样机试验系统”。以井下实际煤层数据为基础，构造虚拟煤层，将装备完全按照实际条件配置在煤层上，进行仿真运行，如图13所示。
将采煤机和刮板输送机样机与虚拟采运装备运行场景进行虚实对应，在采煤机样机上测得的传感位姿信息与虚拟仿真位姿信息进行融合求解，求解出的采煤机位姿结果较单一信息求解结果有明显提高。精度可达95%以上，实时性在200 ms以内，如图14所示。
图13 综采三机样机试验平台
Fig.13 Three machine prototype test platform for fully mechanized mining face
图14 采运装备定位定姿虚拟仿真与虚实融合求解方法
Fig.14 Virtual simulation and virtual reality fusion method for positioning and pose determination of mining and transportation equipment
在仿真运行中可实时提取出各装备与煤层运行的相关参数。可完成采煤机与刮板输送机在煤层上的实时运行位姿信息的提取，随着采煤机截割状态动态更新煤层顶底板模型，并完成液压支架群实时支护空间的提取(图15，16)。
图15 实时提取装备与煤层运行数据
Fig.15 Real-time extraction of operation data for the equipment and the coal seam
如图17所示，输入不同的规划条件进行虚拟仿真，改变仿真参数，并实时记录采煤机牵引速度、刮板输送机负载和液压支架跟机等关键参数规划数据。将不同方案虚拟仿真结果进行对比，得出最优开采方案。达到在开采过程前及过程中进行智能分析并给出自动开采指令，指导实际装备运行作业过程。
图16 提取的煤层顶底板信息
Fig.16 Extracted roof and floor information of coal seam
图17 规划仿真运行优化结果
Fig.17 Planning simulation operation optimization results
6 结 论
(1)构建高保真度虚拟场景，完成工作面装备煤层等元素的配置，在项目开始前就可对方案进行快速测试，在采矿机器人的快速开发方面也可依赖虚拟现实仿真技术首先进行测试。
(2)传感器布置的准确性、可靠性、信息传输的准确性可通过增加信息处理环节来解决;分布式协同可解决监测主机配置有限的问题;盲目地增加传感信息的数量可能会降低整个系统的可靠性，因而必须在虚拟仿真底层上解决相关基础模型问题，在常规传感器布置方案下完成虚拟监测。
(3)“虚实融合”通道构建技术和虚实融合与感知一致性呈现首先需要实施精准的信息融合，并且在底层嵌入相关数学模型。在严谨精准的驱动理论方面还需进行深入研究，以实现可随时全面有效地观测各监测点，并提取出装备时空运动学模型进行分析，从而进行实时闭环规划截割。
[1] 王国法，刘峰，庞义辉，等.煤矿智能化——煤炭工业高质量发展的核心技术支撑[J].煤炭学报,2019,44(2):349-357.
WANG Guofa,LIU Feng,PANG Yihui,et al.Coal mine intellectualization:The core technology of high quality development[J].Journal of China Coal Society,2019,44(2):349-357.
[2] 葛世荣，王忠宾，王世博.互联网+采煤机智能化关键技术研究[J].煤炭科学技术,2016,44(7):1-9.
GE Shirong，WANG Zhongbin，WANG Shibo.Study on key technology of internet plus intelligent coal shearer[J].Coal Science and Technology,2016,44(7):1-9.
[3] 任怀伟，王国法，赵国瑞,等.智慧煤矿信息逻辑模型及开采系统决策控制方法[J].煤炭学报,2019,44(9):2923-2935.
REN Huaiwei，WANG Guofa，ZHAO Guorui,et al.Smart coal mine logic model and decision control method of mining system[J].Journal of China Coal Society,2019,44(9):2923-2935.
[4] 王国法，刘峰，孟祥军，等.煤矿智能化(初级阶段)研究与实践[J].煤炭科学技术,2019,47(8):1-36.
WANG Guofa，LIU Feng，MENG Xiangjun，et al.Research and practice on intelligent coal mine construction (primary stage)[J].Coal Science and Technology,2019,47(8):1-36.
[5] 谢嘉成，王学文，李祥，等.虚拟现实技术在煤矿领域的研究现状及展望[J].煤炭科学技术,2019,47(3):53-59.
XIE Jiacheng，WANG Xuewen，LI Xiang，et al.Research status and prospect of virtual reality technology in field of coal mine[J].Coal Science and Technology,2019,47(3):53-59.
[6] 王存飞，荣耀.透明工作面的概念、架构与关键技术[J].煤炭科学技术,2019,47(7):156-163.
WANG Cunfei，RONG Yao.Concept,architecture and key technologies for transparent longwall face[J].Coal Science and Technology,2019,47(7):156-163.
[7] 李首滨.智能化开采研究进展与发展趋势[J].煤炭科学技术,2019,47(10):102-110.
LI Shoubin.Progress and development trend of intelligent mining technology[J].Coal Science and Technology,2019,47(10):102-110.
[8] RALSTON J C,REID D C,DUNN M T,et al.Longwall automation:Delivering enabling technology to achieve safer and more productive underground mining[J].International Journal of Mining Science & Technology,2015,25(6):865-876.
[9] REID D,RALSTON J,DUNN M,et al.Longwall shearer automation:From research to reality[M].New York:Springer Publishing Company,2015:49-57.
[10] 李昊,陈凯,张晞,等.综采工作面虚拟现实监控系统设计[J].工矿自动化,2016,42(4):15-18.
LI Hao,CHEN Kai,ZHANG Xi,et al.Design of monitoring and control system based on virtual reality technology on fully-mechanized coal mining face[J].Industry and Mine Automation,2016,42(4):15-18.
[11] 张登攀,田振华,王东升.综采工作面三维在线监测系统研究[J].河南理工大学学报(自然科学版),2017,36(1):97-102.
ZHANG Dengpan,TIAN Zhenhua,WANG Dongsheng.Research on 3D online monitoring system of mechanized mining face[J].Journal of Henan Polytechnic University(Natural Science),2017,36(1):97-102.
[12] ZHANG L,WANG Z,LIU X.Development of a collaborative 3D virtual monitoring system through integration of cloud computing and multi-agent technology[J].Advances in Mechanical Engineering,2014(1):1-10.
[13] 谢嘉成.VR环境下综采工作面“三机”监测与动态规划方法研究[D].太原:太原理工大学,2018.
XIE Jiacheng.Method of monitoring and dynamic planning for three machines in a fully mechanized coal-mining face under VR environment[D].Taiyuan:Taiyuan University of Technology,2018.
[14] 孙君令.姿态数据驱动的液压支架运动状态监测技术[D].徐州:中国矿业大学,2019.
SUN Junling.Research on motion state monitoring technology of hydraulic support driven by posture data[D].Xuzhou:China University of Mining and Technology,2019.
[15] 卢新明，阚淑婷.煤炭精准开采地质保障与透明地质云计算技术[J].煤炭学报,2019,44(8):2296-2305.
LU Xinming,KAN Shuting.Geological guarantee and transparent geological cloud computing technology of precision coal mining[J].Journal of China Coal Society,2019,44(8):2296-2305.
[16] 程建远，朱梦博，王云宏，等.煤炭智能精准开采工作面地质模型梯级构建及其关键技术[J].煤炭学报,2019,44(8):2285-2295.
CHENG Jianyuan，ZHU Mengbo，WANG Yunhong，et al.Cascade construction of geological model of longwall panel for intelligent precision coal mining and its key technology[J].Journal of China Coal Society,2019,44(8):2285-2295.
[17] 谢嘉成，王学文，杨兆建，等.综采工作面煤层装备联合虚拟仿真技术构想与实践[J].煤炭科学技术,2019,47(5):162-168.
XIE Jiacheng，WANG Xuewen，YANG Zhaojian,et al.Technical conception and practice of joint virtual simulation for coal seam and equipment in fully-mechanized coal mining face[J].Coal Science and Technology,2019,47(5):162-168.
[18] 谢嘉成，王学文，杨兆建.基于数字孪生的综采工作面生产系统设计与运行模式[J].计算机集成制造系统,2019,25(6):1381-1391.
XIE Jiacheng，WANG Xuewen，YANG Zhaojian.Design and operation mode of production system of fully mechanized coal mining face based on digital twin theory[J].Computer Integrated Manufacturing Systems,2019,25(6):1381-1391.
[19] XIE Jiacheng,YANG Zhaojian,WANG Xuewen,et al.A Virtual reality collaborative planning simulator and its method for three machines in a fully mechanized coal mining face[J].Arabian Journal for Science and Engineering,2018,43(9):4835-4854.
[20] 李昂,郝尚清,王世博,等.基于SINS/轴编码器组合的采煤机定位方法与试验研究[J].煤炭科学技术,2016,44(4):95-100.
LI Ang,HAO Shangqing,WANG Shibo,et al.Experimental study on shearer positioning method based on SINS and Encoder[J].Coal Science and Technology,2016,44(4):95-100.
[21] XIE Jiacheng,WANG Xuewen,YANG Zhaojian,et al.Attitude-aware method for hydraulic support groups in a virtual reality environment[A].Proceedings of the Institution of Mechanical Engineers,Part C[C].Journal of Mechanical Engineering Science,2019,233(14):4805-4818.
[22] 乔春光.采煤机与刮板输送机协同位姿监测理论与方法研究[D].太原:太原理工大学,2019.
QIAO Chunguang.Research on the theory and method of coordinated position and attitude monitoring of shearer and scraper conveyor[D].Taiyuan:Taiyuan University of Technology,2019.
[23] 王学文，葛星，谢嘉成，等.基于真实煤层环境的液压支架运动虚拟仿真方法[J].煤炭科学技术,2020,48(2):158-163.
WANG Xuewen,GE Xing,XIE Jiacheng,et al.Virtual simulation method of hydraulic support movement based on real coal seam environment[J].Coal Science and Technology,2020,48(2):158-163.
